产品概述
产品描述 Dataphin是集产品、技术、方法论于一体的智能大数据平台建设引擎，为您提供数据引入、规范定义、建模研发、资产管理、数据服务等全链路智能数据建设及治理服务。功能 描述 Dataphin全托管 全托管又称公共云多租户模式，只需购买...
MSE微服务治理最佳实践
使用Cloud Toolkit实现微服务的端云互联 为K8s集群命名空间中的应用开启微服务治理 基于Ingress-nginx网关实现全链路灰度 基于MSE云原生网关实现全链路灰度 基于自建Spring Cloud Gateway或Zuul网关实现全链路灰度 基于消息队列RocketMQ版...
全景监控
全景监控支持业务链路配置监控场景，通过自定义监控链路和告警消息配置，可快速实现从数据生产到业务应用的全链路编排及溯源，实现全局监控和问题快速锁定。全景监控提供丰富的告警信息输出方式，包括：钉钉消息、标准协议等方式，出现问题...
功能简介
全景监控支持业务链路配置监控场景，通过自定义监控链路和告警消息配置，可快速实现从数据生产到业务应用的全链路编排及溯源，实现全局监控和问题快速锁定。全景监控提供丰富的告警信息输出方式，包括：钉钉消息、标准协议等方式，出现问题...
功能简介
全景监控支持业务链路配置监控场景，通过自定义监控链路和告警消息配置，可快速实现从数据生产到业务应用的全链路编排及溯源，实现全局监控和问题快速锁定。全景监控提供丰富的告警信息输出方式，包括：钉钉消息、标准协议等方式，出现问题...
Iceberg概述
核心能力 Apache Iceberg设计初衷是为了解决Hive数仓上云的问题，经过多年迭代已经发展成为云上构建数据湖服务的表格式标准。关于Apache Iceberg的更多介绍，请参见 Apache Iceberg官网。目前Iceberg提供以下核心能力：基于HDFS或者对象...
客户案例
通过DataWorks进行全链路数据治理，提升数据质量与应用能力。价值体现 将EMR的元数据统一到DLF，底层使用OSS作统一存储，并通过湖仓一体打通EMR数据湖和MaxCompute数仓两套体系，让数据和计算在湖和仓之间自由流动。实现湖仓数据分层存储。...
分布式链路配置
通过为 workspace 设置链路服务端采样率，按照配置进行采集链路请求数据，而不是跟踪每个请求。如需配置链路采样率，开启开关，输入采样率后保存即可。比如输入 70%，表示仅采集 70%的链路服务端数据。错误链路全采样 如需查询追踪每一笔...
基于Delta lake的一站式数据湖构建与分析实战
企业构建和应用数据湖一般需要经历数据入湖、数据湖存储与管理、数据湖探索与分析等几个过程。本文主要介绍基于阿里云数据湖构建（DLF）构建一站式的数据入湖与分析实战。背景信息 随着数据时代的不断发展，数据量爆发式增长，数据形式也变...
概述
用户使用流程 数据湖构建将帮助您快速简洁抽取源数据到统一数据湖的服务，用户使用流程如下：开通公测流程后，登录阿里云管理控制台，选择 数据湖构建，进入 数据湖管理控制台。参见 数据源管理 章节，创建数据源，选择希望导入到数据湖的...
API概览
通用服务 API 标题 API概述 GetRegionStatus 获取数据湖构建服务开通状态 获取数据湖构建指定地域的服务开通状态。GetServiceStatus 获取某个用户的服务开通状态 获取数据湖构建某个用户的服务开通状态。DescribeRegions 获取开通的地区 ...
使用流程
云原生数据湖分析DLA（Data Lake Analytics）是无服务器（Serverless）化的云上交互式查询分析服务，支持通过Presto和Spark引擎分析多种数据源中的数据。快速入门旨在介绍如何开通DLA、构建数据湖、调用Presto和Spark引擎进行数据分析与...
快速入门
指定RAM角色，数据湖构建服务所代理的角色，默认为AliyunDLFWorkFlowDefaultRole。选择运行抽取任务所需的资源，并指定任务运行方式。详细操作请参见 入湖模板。创建数据湖的元数据 添加元数据库 创建元数据表，指定表中数据的存储位置和...
计费概述
本文介绍DLA的三种计费方式：按计算资源付费、按扫描量付费和数据湖存储服务付费。计费方式 计费类别 说明 适用场景 相关文档 按计算资源付费 数据湖分析CU版根据购买的CU规格进行计费，费用跟运行查询扫描的数据量没有关系。计费模式如下...
性能监控最佳实践
阿里云全链路追踪最佳实践 阿里云环境下，可以基于 可观测链路 OpenTelemetry 版，从 0 到 1 快速构建一套贯穿前端、网关、服务端、容器和云组件的全链路追踪体系。Header 透传格式：全链路统一采用一种透传协议，可以是 W3C TraceContext...
什么是DataWorks
产品架构 DataWorks十多年沉淀数百项核心能力，通过 智能数据建模、全域数据集成、高效数据生产、主动数据治理、全面数据安全、数据分析服务六大全链路数据治理的能力，帮助企业治理内部不断上涨的“数据悬河”，释放企业的数据生产力。...
Kafka实时入湖
本文为您介绍如何在数据湖构建（Data Lake Formation，简称DLF）中使用Kafka实时入湖任务将数据同步到数据湖中。重要 数据入湖功能已经停止更新，如果您有数据入湖需求请参考：数据入湖停止更新公告。前提条件 已开通数据湖构建服务，尚未...
OSS访问日志分析
您可以通过日志服务SLS存储和分析OSS日志数据，也可以将OSS日志数据导出并存储到指定的OSS目录长期保存，然后通过数据湖分析服务对长期保存的OSS日志数据进行分析。通过数据湖分析服务（Data Lake Analytics，DLA）分析OSS日志数据前，您...
2023年
作业运行常见问题 2023-08-01 新增Github公开事件数据 新说明 本文为您介绍MaxCompute公开数据集中Github公开事件数据的基本信息、如何通过MaxCompute执行Github公开事件数据查询以及Query样例和分析结果。Github公开事件数据 2023年7月...
产品简介
基于DLA无服务器化（Serverless）数据湖分析服务与内置的Spark计算引擎，DLA Ganos打通了阿里云各个存储系统，如PolarDB、Lindorm(HBase)、OSS等，通过统一的时空数据模型与计算接口，实现对多源异构数据的一体化管理与计算，并支持进行...
OceanBase 4.x 简介
数据管理（云平台和 OCP 融合）：支持全链路诊断能力和服务，快速定位数据库内核各种异常 SQL，对执行计划提供实时监控以保证 SQL 执行能力持续优化。数据迁移（OMS）:传输全链路性能可监控、可观测。更多统计信息搜集，提供增量同步 SQL ...
通过元信息发现功能查询并分析OSS数据
操作步骤 开通云原生数据湖分析服务。登录 OSS管理控制台，上传文件到OSS，具体操作请参见 上传文件。例如将 supplier_with_header.csv 文件上传到OSS的指定目录 oss:/alibaba-crawler/schema1/supply_ceshi/。登录 数据湖分析管理控制台，...
友盟数据分析
您需要购买数据湖分析流量包并完成支付，通过阿里云数据湖分析DLA产品来进行数据的查询和投递。支付完成后请您不要关闭浏览器，等待开通成功的提示窗口。查询数据 服务开通成功之后，等待一段时间您就可以看到友盟自动为您的阿里云账号创建...
DLF统一元数据
背景信息 阿里云数据湖构建是一款全托管的快速帮助用户构建云上数据湖的服务，产品为云原生数据湖提供了统一的元数据管理、统一的权限与安全管理、便捷的数据入湖能力以及一键式数据探索能力，详细信息请参见 数据湖构建产品简介。...
DataWorks快速入门指引
DataWorks基于MaxCompute、Hologres、EMR、AnalyticDB、CDP等大数据引擎，为数据仓库、数据湖、湖仓一体等解决方案提供统一的全链路大数据开发治理平台，为了便于新用户快速了解DataWorks的数据开发治理操作全流程，DataWorks为您提供了...
ActionTrail日志清洗
在DLA中完成以下操作：开通DLA服务，请参见 开通云原生数据湖分析服务。初始化DLA数据库主账号密码，请参见 重置数据库账号密码。步骤一：创建Schema 登录 Data Lake Analytics管理控制台。在页面左上角，选择DLA所在地域。在左侧导航栏...
数据湖管理FAQ
本文汇总了数据湖管理相关的常见问题及解决方案。Lakehouse相关问题 什么是Lakehouse？Lakehouse数据入湖时，对线上RDS有压力吗？如何控制建仓的限流能力？Lakehouse工作负载为什么运行失败，又没有S park Log 日志可以看？元数据发现相关...
背景信息及准备工作
在DLA中完成以下准备工作 开通云原生数据湖分析服务。重置数据库密码。在Quick BI中完成以下准备工作 目前只有Quick BI专业版和Quick BI高级版，支持添加DLA数据源。关于如何购买 和免费试用Quick BI，请参见 Quick BI购买、升级、降级、...
产品优势
数据库网关提供安全，可靠，低成本的数据...全生态服务 通过数据库网关，各种数据库产品将逐步接入，实现跨云和云上云下的全生态服务（如数据库迁移、容灾、跨库JOIN、数据分析、数据安全等能力），让您享受云端数据库产品带来的一致性服务。
通过数据同步功能同步SLS至湖仓版（推荐）
AnalyticDB for MySQL 湖仓版（3.0）支持新建SLS同步链路，通过同步链路从指定时间位点将日志服务LogStore中的数据实时同步至 湖仓版（3.0），以满足近实时产出、全量历史归档、弹性分析等需求。本文介绍如何添加SLS数据源，新建SLS同步...
【通知】停止售卖云原生数据湖分析DLA
停售对象 云原生数据湖分析DLA 停售计划 2023年06月01日起，停止新购云原生数据湖分析DLA实例和开通服务。2023年12月01日起，停止升级云原生数据湖分析DLA实例和续费服务。2024年01月01日起，按地域逐步停止云原生数据湖分析DLA服务。停售...
读写AnalyticDB for PostgreSQL数据
数据湖分析DLA（Data Lata Analytics）支持接入AnalyticDB for PostgreSQL服务，通过标准SQL语句读写AnalyticDB for PostgreSQL中的数据。准备工作 您需要在AnalyticDB for PostgreSQL中进行以下操作：创建实例和配置实例，具体操作请参见 ...
数据库灰度
这种全链路灰度场景是微服务架构中特有的，它通过构建从网关到后端服务的环境隔离来对多个不同版本的服务进行灰度验证。在发布过程中，只需要部署服务的灰度版本。当流量在调用链路上流转时，流经的网关、中间件和微服务会识别灰度流量，并...
日志说明
load.test 判断当前是否为全链路压测：T：表示当前为全链路压测。当前线程中能获取到日志上下文，且上下文中有压测信息。F：表示当前非全链路压测。当前线程中不能获取到日志上下文，或上下文中没有压测信息。HttpClient 日志 SOFATracer ...
使用全链路流量控制监控入口应用的流量
前提条件 为应用配置全链路流量控制，需要提前完成以下工作：创建微服务应用。具体操作，请参见 创建和部署应用概述（K8s）。如果入口应用是Spring Cloud Gateway或Netflix Zuul微服务网关，需提前创建微服务网关并绑定EDAS微服务空间。...
产品简介
阿里云数据湖构建（Data Lake Formation，简称 DLF）是一款全托管的快速帮助用户构建云上数据湖及Lakehouse的服务，为客户提供了统一的元数据管理、统一的权限与安全管理、便捷的数据入湖能力以及一键式数据探索能力。DLF可以帮助用户快速...
Flink VVP+DLF数据入湖与分析实践
已开通阿里云数据湖构建（DLF）服务。如果您没有开通，则可以在 DLF产品首页，单击 立即开通。本文以MySQL数据源为例，需要创建RDS MySQL，详情请参见 创建RDS MySQL实例。如果使用其他数据源入湖可忽略。说明 创建的RDS MySQL需要和实时...
EMR+DLF数据湖解决方案
采用EMR+DLF数据湖解决方案，相对传统EMR数据湖方案有下列优点：DLF提供数据湖跨引擎的统一的，全托管免运维的元数据服务。支持可视化的元数据管理，以及多版本管理和回退。支持可视化一键元数据迁移。支持元数据全文检索。支持元数据...
云产品集成
大数据开发治理平台 DataWorks DataWorks 是一款为数据仓库、数据湖、湖仓一体等解决方案提供统一的全链路大数据开发治理平台。您可以使用 DataWorks 添加 ApsaraDB For OceanBase 数据源，管理 OceanBase 数据库中的数据，通过数据集成...
基于DLF、RDS或Flink、OSS支持Delta Lake或Hudi存储...
Delta Lake和Hudi是数据湖方案中常用的存储机制，为数据湖提供流处理、批处理能力。MaxCompute基于阿里云DLF、RDS或Flink、OSS产品提供了支持Delta或Hudi存储机制的湖仓一体架构。您可以通过MaxCompute查询到实时数据，即时洞察业务数据...
- 产品推荐
- 这些文档可能帮助您