MapReduce
自然语言处理：基于大数据的训练和预测。基于语料库构建单词同现矩阵，频繁项集数据挖掘、重复文档检测等。广告推荐：用户单击（CTR）和购买行为（CVR）预测。MapReduce流程说明 MapReduce处理数据过程主要分成Map和Reduce两个阶段。首先...
DBS沙箱功能概览
相比现有基于大数据平台的历史数据离线分析方案，DBS沙箱功能提供原始数据库SQL接口，不需要开发人员编写离线分析脚本，并由于使用快照存储机制，存储成本也更低。费用说明 更多信息，请参见 DBS沙箱费用。后续步骤 自建MySQL应急恢复...
基于MaxCompute进行大数据BI分析
方案介绍 基于MaxCompute进行大数据BI分析的流程如下：通过数据集成同步业务数据和日志数据至MaxCompute。通过MaxCompute、DataWorks对数据进行ETL处理。同步处理后的结果数据至AnalyticDB MySQL。通过Quick BI可视化建立用户画像。方案...
数据诊断
概述 数据诊断功能可以帮助您分析上传的数据所存在的问题，并针对具体的诊断项提供修复建议。数据诊断功能指导您修复常见的数据问题，避免了因为数据格式错误、数据错传、漏传等原因导致推荐效果不理想的情况。因此，建议您在POC测试阶段...
数据迁移
本文为您介绍数据迁移的最佳实践，包含将其他业务平台的业务数据或日志数据迁移至MaxCompute，或将...MaxCompute处理业务数据和日志数据后，可以通过Quick BI快速地以可视化方式展现数据处理结果，详情请参见 基于MaxCompute的大数据BI分析。
HTAP中的行列混存查询优化
即先按照各个谓词的选择率排序，之后按照如下公式计算选择率：该算法在基于现实数据的大部分数据集中能有效地减少估计误差。优化效果评估 在TPCH 1 TB数据集上测试开启/关闭IMCI查询优化的性能。如下图所示：由上图可以看出，对于Q8和Q9的...
Pod诊断
容器智能运维平台 构建了基于专家经验的故障诊断系统，并基于海量数据训练了AI智能故障诊断模型。Pod诊断融合了基于专家经验和AI智能诊断两种诊断模式，进一步深入定位问题根因。Pod诊断包括诊断检查项和诊断根因。诊断检查项：包括Pod检查...
Pod诊断
容器服务平台构建了基于专家经验的故障诊断系统，并基于海量数据训练了AI智能故障诊断模型。Pod诊断融合了基于专家经验和AI智能诊断两种诊断模式，进一步深入定位问题根因。Pod诊断包括诊断检查项和诊断根因。诊断检查项：包括Pod检查、...
高可用版
图数据库GDB支持高可用版和单节点版两个系列。高可用版采用一主一备的经典高可用...可靠性 计算与存储分离，计算节点的故障不会造成数据丢失。基于超大规模的阿里云飞天分布式存储，保证数据多副本的可靠性。适用场景 企业级的生产图数据库。
数据标准概述
标准统一的数据指标体系，让业务人员也能够轻松获取数据，并能够自助式的进行数据分析，为基于数据的业务创新提供可能。技术方面：统一、标准的数据及数据结构是企业信息共享的基础；标准的数据模型和标准数据为新建系统提供支撑，提升应用...
数据标准概述
标准统一的数据指标体系，让业务人员也能够轻松获取数据，并能够自助式的进行数据分析，为基于数据的业务创新提供可能。技术方面：统一、标准的数据及数据结构是企业信息共享的基础；标准的数据模型和标准数据为新建系统提供支撑，提升应用...
数据分析概述
DataWorks提供的数据分析平台，可以流畅地进行数据处理、分析、加工及可视化操作。在数据分析板块中，您不仅可以在线洞察数据，还可以编辑和共享数据。本文为您介绍数据分析平台的优势、功能、权限等概要信息。产品优势 与本地数据分析相比...
使用执行计划分析查询
诊断结果 单击执行计划树中某个Stage（如 Stage[1]），即可在右侧查看对应Stage的 诊断结果 详情，包括如下两类诊断：Stage诊断：这类诊断结果包含了对目标Stage诊断结果的详细说明，包括诊断出的问题（如存在较大的数据量被广播或数据倾斜...
磁盘空间诊断
表 对于占用空间较大的数据库，可以通过客户端连接到该数据库，执行 \d 查看该数据库每个表的空间占用情况。查询WAL日志 执行以下SQL可查看当前WAL日志占用空间：SELECT pg_size_pretty(SUM(size))FROM pg_ls_waldir();一般WAL占用空间较大...
DataWorks产品安全能力介绍
为充分契合数据安全治理的核心理念与通用思路，DataWorks针对资产梳理、技术体系/运营体系建设提供了一系列全面的数据安全产品能力，基于“I（Identify）P（Protect）D（Detect）R（Respond）”理论框架，从资产识别、安全防护、行为检测、...
文档修订记录
Check节点 2024.1.12 新增功能 最佳实践 新增DataWorks大数据安全治理实践新增指南，为您介绍数据安全治理的常见思路、DataWorks产品的安全能力，以及在DataWorks上基于“基础防护建设”、“数据安全防护措施”、“数据安全持续运营”三个...
创建DataHub项目
阿里云流数据处理平台DataHub是流式数据（Streaming Data）的处理平台，提供对流式数据的发布（Publish），订阅（Subscribe）和分发功能，让您可以轻松构建基于流式数据的分析和应用。前提条件 您已经完成了 创建RDS MySQL数据库表。操作...
概述
DataWorks的安全中心作为云上大数据体系的安全门户，致力于向您提供面向数据安全生命周期全过程的安全能力，同时在符合安全规范要求的前提下，提供各类安全诊断的最佳实践。其核心功能如下：数据权限管理 安全中心为您提供精细化的数据权限...
发展历程
2017年 TPC的benchmark适配MaxCompute，进行了全球首次基于公共云的BigBench大数据基准测试，数据规模拓展到100 TB，成为首个突破7000分的引擎，性能达到7830 QPM。获得中国国际软件博览会金奖。中国电子学会科技进步特等奖（被业界誉为...
产品简介
大数据专家服务 大数据专家服务（Bigdata Expert Service）是由阿里云大数据专家基于阿里云多年大数据架构、应用、运维、AI算法建模等最佳实践经验及方法论为用户提供全方位的大数据产品技术、咨询服务及售后专家服务运维保障，帮助用户...
羲和分析计算引擎
比如：利用数据分布，直接进行基于特定数据的计算，避免分布式系统中数据和命令流交互的开销。利用数据存储的能力，下推谓词、聚合等计算，实现近存储的计算加速。利用数据模型中的范式依赖，数据数值类型等进行查询执行算法优化。
什么是阿里云Cloudera CDP
企业数据云平台Cloudera Data Platform（简称阿里云CDP），是阿里云和Cloudera联合打造的阿里云上的大数据平台。Cloudera CDP企业数据云平台 Cloudera企业数据云是社区版CDH的全新商业化升级产品，是阿里云和Cloudera联合打造阿里云上的大...
Stage级别诊断结果
较大的数据量被广播 Stage输入数据倾斜 Stage输出数据倾斜 较大的数据量被广播 问题 广播（Broadcast）是在两个相邻的Stage间，上游向下游Stage传输数据时所用的一种方法（更多详情，请参见 数据输出类型）。如果某个Stage广播了较多数据，...
质量规则模板类型
如果差异较大，可能存在较大数据质量的问题需要进行确认和修复。实时多链路对比 高可用场景下，需要构建多条链路，以便数据出现异常时，能够及时切换。对于多链路之间的数据计算进度监控则可以发现一些数据滞留、统计偏差问题，提升实时...
质量规则模板类型
如果差异较大，可能存在较大数据质量的问题需要进行确认和修复。实时多链路对比 高可用场景下，需要构建多条链路，以便数据出现异常时，能够及时切换。对于多链路之间的数据计算进度监控则可以发现一些数据滞留、统计偏差问题，提升实时...
开发前准备：绑定数据源或集群
绑定后，便可基于数据源的连接信息读取该数据源的数据，进行相关开发操作。说明 当数据源信息发生变更时，若当前界面数据更新不及时，请刷新当前页面更新缓存数据。部分场景可能导致数据源或集群无法绑定至DataStudio（数据开发）：部分...
新功能发布记录
表 1.2022年02月 功能名称 功能概述 发布时间 支持地域 相关文档 支持Oracle RAC使用场景 版本新增对Oracle RAC使用场景的支持，可取代OCFS2/GFS2/ASM(ACFS)，为基于SAN的数据库/中间件/SaaS应用集群提供高可用、高性能的存储服务。...
升级告用户书
数据清理和数据归档功能：为了帮助您优化数据库的存储和管理，我们提供了数据清理和数据归档的功能，您可以根据数据的使用频率和重要性，将数据进行分离和清理，以提高数据库的性能和效率。产品交互优化：我们优化了SQL控制台的布局，以...
2022年
基于MaxCompute的智能推荐解决方案 基于MaxCompute+开放搜索的电商、零售行业搜索开发实践 基于MaxCompute+PAI的用户增长方案实践 基于MaxCompute的实时数据处理实践 基于MaxCompute分布式Python能力的大规模数据科学分析 基于MaxCompute+...
什么是EMR on ACK
当ACK集群准备就绪后，EMR将基于ACK的资源安装部署大数据服务组件，并在容器内运行。EMR on ACK优势 优势 描述 节省成本 您无需为大数据服务单独购买ACK集群，通过简单的配置即可在已有的ACK集群上执行大数据作业，成本低廉。复用现有ACK...
入门实践
同时，基于数据标准进行引用和实行，生成表结构，实现模型的统一管理。基于DataWorks的数据建模流程如下：空间管理员角色创建数据标准 模型设计师角色创建数据模型 模型设计师角色修改数据模型 模型设计师角色保存模型至模型库 开发角色...
导入概述
为了更好地满足各种不同的业务场景，StarRocks支持多种数据模型，StarRocks中存储的数据需要按照特定的模型进行组织。本文为您介绍数据导入的基本概念、原理、系统配置、不同导入方式的适用场景，以及一些最佳实践案例和常见问题。背景信息...
产品概述
什么是E-MapReduce 开源大数据开发平台E-MapReduce（简称EMR），是运行在阿里云平台上的一种大数据处理的系统解决方案。EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理...
流量诊断
背景信息 在实际使用数据库的过程中，会存在文件数过多导致请求时延变长的情况。同时，流量分布不均匀的问题导致部分节点负载过高并出现热点，进一步造成系统卡顿，影响正常使用。集群管理系统提供流量诊断功能，帮助用户定位热点分片和Key...
产品简介
开源大数据开发平台E-MapReduce（简称EMR）是运行在阿里云平台上的一种大数据处理系统解决方案。EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理数据。EMR还可以与阿里云...
等待资源
解决措施：检查日志（任务配置）中concurrent参数值，如果并发任务设置过大，需根据机器支持的最大并发数与当前同时消耗的并发数配置任务并发。如果单个任务并发设置超过了机器支持的最大并发数，请将这些并发任务全部停掉，修改任务并发数...
简介
数据工作站可以结合大语言模型给业务开发、数据开发、分析师和数据运营同学赋能，提升数据交付效率和数据自助分析的效率。当您需要将查询的数据、测试的数据、以及数据变化趋势等信息，以文档的形式进行交付，并在交付后，希望有可以替您...
典型场景
基于湖构建数据平台，支持BI、挖掘等业务 对象存储OSS可以作为湖存储，DLA基于OSS构建一站式的大数据平台。具体包括构建数据湖、数据ETL、交互式查询、机器学习等功能。构建数据湖 实时数据湖：支持DB的CDC与消息数据（如Kafka）入湖，构建...
Napatech案例
基于Lindorm的解决方案，用户在采用到100Gbps+流量产生的大量数据包元数据直接通过Lindorm存储，在数据的存储和索引性能方面得到极大的提升，同时也极大地降低整个系统的运维成本。客户价值 支持多个100G数据流量采集点的数据包元数据存储...
业务连续性
跨地域主备容灾 应用的主备切换 为了避免地域级别的故障造成业务中断，在某个边缘节点上部署应用之外，还应该在其他边缘节点或公共云地域部署备份应用。您可以借助 全局流量管理服务，在出现地域级别故障时，自动将域名解析指向到其他地域...
- 产品推荐
- 这些文档可能帮助您