MapReduce
自然语言处理：基于大数据的训练和预测。基于语料库构建单词同现矩阵，频繁项集数据挖掘、重复文档检测等。广告推荐：用户单击（CTR）和购买行为（CVR）预测。MapReduce流程说明 MapReduce处理数据过程主要分成Map和Reduce两个阶段。首先...
DBS沙箱功能概览
相比现有基于大数据平台的历史数据离线分析方案，DBS沙箱功能提供原始数据库SQL接口，不需要开发人员编写离线分析脚本，并由于使用快照存储机制，存储成本也更低。费用说明 更多信息，请参见 DBS沙箱费用。后续步骤 自建MySQL应急恢复...
基于MaxCompute进行大数据BI分析
方案介绍 基于MaxCompute进行大数据BI分析的流程如下：通过数据集成同步业务数据和日志数据至MaxCompute。通过MaxCompute、DataWorks对数据进行ETL处理。同步处理后的结果数据至AnalyticDB MySQL。通过Quick BI可视化建立用户画像。方案...
数据迁移
本文为您介绍数据迁移的最佳实践，包含将其他业务平台的业务数据或日志数据迁移至MaxCompute，或将...MaxCompute处理业务数据和日志数据后，可以通过Quick BI快速地以可视化方式展现数据处理结果，详情请参见 基于MaxCompute的大数据BI分析。
HTAP中的行列混存查询优化
即先按照各个谓词的选择率排序，之后按照如下公式计算选择率：该算法在基于现实数据的大部分数据集中能有效地减少估计误差。优化效果评估 在TPCH 1 TB数据集上测试开启/关闭IMCI查询优化的性能。如下图所示：由上图可以看出，对于Q8和Q9的...
2020年
基于MaxCompute的大数据BI分析最佳实践 2020-04-03 新增MaxCompute支持限制单SQL消费功能。新说明 介绍Project级别和Session级别的单SQL限制消费。消费监控告警消费控制 2020年3月更新记录 时间 特性 类别 描述 产品文档 2020-03-27 支持三...
DAS Auto Scaling弹性能力
基于DeepLearning的数据库RT预测模型，该算法可基于数据库实例的CPU使用情况、逻辑读、物理读和iops等多项数据指标预测出实例运行时的rt值，用于指导数据库对BufferPool内存的缩减，为阿里巴巴数据库节省超27T内存，占比总内存约17%。...
客户案例
同时，OceanBase 还为报表平台量身定制了近似计算的功能，对于一些超大结果集的运算，OceanBase 会筛选出一些精度影响较大的数据，然后基于这些数据进行汇总计算，在超大的数据计算的情况下，能够快速的得出一个离正确结果相差不大的近似...
DataWorks产品安全能力介绍
为充分契合数据安全治理的核心理念与通用思路，DataWorks针对资产梳理、技术体系/运营体系建设提供了一系列全面的数据安全产品能力，基于“I（Identify）P（Protect）D（Detect）R（Respond）”理论框架，从资产识别、安全防护、行为检测、...
文档修订记录
Check节点 2024.1.12 新增功能 最佳实践 新增DataWorks大数据安全治理实践新增指南，为您介绍数据安全治理的常见思路、DataWorks产品的安全能力，以及在DataWorks上基于“基础防护建设”、“数据安全防护措施”、“数据安全持续运营”三个...
应用场景
实时数据通道 1.1 接入多种异构数据并投递到下游多种大数据系统 通过数据总线，您可以实时接入APP、WEB、IoT和数据库等产生的异构数据，统一管理，并投递到下游的分析、归档等系统，构建清晰的数据流，让您更好的释放数据的价值。...
Quick BI散点图如何预测数据
概述 本文主要介绍Quick BI中哪些图表可以预测数据，以及如何设置数据预测功能。问题描述 仪表板中的散点图是否可以预测数据，如何设置？问题原因 散点图不支持预测数据，其他的图表有的可以支持预测数据。解决方案 1.散点图不支持数据预测...
互联网、电商行业离线大数据分析
概述 电商网站的销售数据通过大数据进行分析后，可以在大屏幕展示销售指标、客户指标、销售排名和订单地区分布等业务指标数据。DataV大屏支持可视化动态展示销售数据，触控大屏支持您自助查询数据，极大地提高数据的可读性。应用场景 电商...
发展历程
2017年 TPC的benchmark适配MaxCompute，进行了全球首次基于公共云的BigBench大数据基准测试，数据规模拓展到100 TB，成为首个突破7000分的引擎，性能达到7830 QPM。获得中国国际软件博览会金奖。中国电子学会科技进步特等奖（被业界誉为...
模型预测
您可以在模型排行榜中选择某个模型进行预测任务，本文为您详细介绍GDB Automl模型预测的方法。操作步骤 模型预测完成后，在...选择用于模型预测的数据帧，单击 预测。在模型预测结果中，可以查看预测集上的混淆矩阵和不同阈值下的指标情况。
什么是阿里云Cloudera CDP
企业数据云平台Cloudera Data Platform（简称阿里云CDP），是阿里云和Cloudera联合打造的阿里云上的大数据平台。Cloudera CDP企业数据云平台 Cloudera企业数据云是社区版CDH的全新商业化升级产品，是阿里云和Cloudera联合打造阿里云上的大...
产品功能
阿里云图数据库自动机器学习（Graph Database Auto Machine Learning，简称GDB Automl）支持数据处理、模型训练、数据预测和导出部署。本文为您详细介绍GDB Automl的产品功能。数据处理 数据导入 目前版本支持从图数据库GDB导入数据、从...
创建GreenPlum数据源
通过创建GreenPlum数据源能够实现Dataphin读取GreenPlum的业务数据或向GreenPlum写入数据。本文为您介绍如何创建GreenPlum数据源。背景信息 Greenplum是一款大数据分析引擎，作用于分析、机器学习和AI等领域。其架构主要针对管理大规模分析...
创建GreenPlum数据源
通过创建GreenPlum数据源能够实现Dataphin读取GreenPlum的业务数据或向GreenPlum写入数据。本文为您介绍如何创建GreenPlum数据源。背景信息 Greenplum是一款大数据分析引擎，作用于分析、机器学习和AI等领域。其架构主要针对管理大规模分析...
填充数据库
它没 INSERT 那么灵活，但是在大量数据装载时导致的负荷也更少。因为 COPY 是单条命令，因此使用这种方法填充表时无须关闭自动提交。如果你不能使用 COPY，那么使用 PREPARE 来创建一个预备 INSERT 语句也有所帮助，然后根据需要使用 ...
创建MaxCompute数据源
背景信息 MaxCompute即阿里云大数据计算服务，适用于数据分析场景的企业级SaaS（Software as a Service）模式云数据仓库，以Serverless架构提供快速、全托管的在线数据仓库服务，消除了传统数据平台在资源扩展性和弹性方面的限制，最小化...
创建MaxCompute数据源
背景信息 MaxCompute即阿里云大数据计算服务，适用于数据分析场景的企业级SaaS（Software as a Service）模式云数据仓库，以Serverless架构提供快速、全托管的在线数据仓库服务，消除了传统数据平台在资源扩展性和弹性方面的限制，最小化...
外部表概述
MaxCompute支持使用外部表功能查询和分析存储于OSS等外部存储系统的数据。该机制使得用户可以无需将数据导入到MaxCompute内部存储，直接对外部数据进行操作，从而提供了数据处理的灵活性和方便性。背景信息 MaxCompute SQL作为分布式数据...
新建TDengine数据源
说明 通常情况下，生产数据源和开发数据源需配置非同一个数据源，以使开发数据源与生产数据源的环境隔离，降低开发数据源对生产数据源的影响。但Dataphin也支持配置成同一个数据源，即相同参数值。配置 集群配置 区域的参数。参数 描述 ...
新建TDengine数据源
说明 通常情况下，生产数据源和开发数据源需配置非同一个数据源，以使开发数据源与生产数据源的环境隔离，降低开发数据源对生产数据源的影响。但Dataphin也支持配置成同一个数据源，即相同参数值。配置 集群配置 区域的参数。参数 描述 ...
数据分析概述
DataWorks提供的数据分析平台，可以流畅地进行数据处理、分析、加工及可视化操作。在数据分析板块中，您不仅可以在线洞察数据，还可以编辑和共享数据。本文为您介绍数据分析平台的优势、功能、权限等概要信息。产品优势 与本地数据分析相比...
数据标准概述
标准统一的数据指标体系，让业务人员也能够轻松获取数据，并能够自助式的进行数据分析，为基于数据的业务创新提供可能。技术方面：统一、标准的数据及数据结构是企业信息共享的基础；标准的数据模型和标准数据为新建系统提供支撑，提升应用...
数据标准概述
标准统一的数据指标体系，让业务人员也能够轻松获取数据，并能够自助式的进行数据分析，为基于数据的业务创新提供可能。技术方面：统一、标准的数据及数据结构是企业信息共享的基础；标准的数据模型和标准数据为新建系统提供支撑，提升应用...
预测函数
本文档主要介绍了预测函数（Predictors）的语法结构、语法说明以及使用示例。HOLT_WINTERS()使用Holt-Winters的季节性方法返回N个预测的field value。HOLT_WINTERS()可用于：预测时间什么时候会超过给定的阈值。将预测值与实际值进行比较，...
使用DataWorks
MaxCompute支持通过DataWorks的数据集成功能将MaxCompute中的数据以离线方式导出至其他数据源。当您需要将MaxCompute中的数据导出至其他数据源执行后续数据处理操作时，您可以使用数据集成功能导出数据。本文为您介绍如何将MaxCompute的...
性能异常检测
通过机器学习和智能算法，支持数据库实例核心指标的异常检测和预测，并自动联动一键诊断模块，帮助您直接定位异常根因。前提条件 数据库实例需要满足以下条件：当前仅支持 RDS MySQL。数据库实例已接入DAS，并且接入状态显示为 接入正常，...
列存索引（IMCI）发布说明
PolarDB MySQL版 重磅推出的列存索引（In-Memory Column Index，简称IMCI）面向OLAP场景大数据量复杂查询。通过列存索引，PolarDB MySQL版 实现了一体化的实时事务处理和实时数据分析的能力，成为一站式HTAP数据库产品解决方案。通过一套...
将AI模型推理结果写回数据库
AAT作为数据库外表，在使用上和数据库里面其他的表没有太大的差别。通过AAT连接AI和数据库 通过以下示例，来描述如何通过AAT来连接AI和数据库。在实际使用过程中，请根据实际情况进行操作。开启冷数据归档 功能。为了避免AI模型对数据库的...
概述
PolarDB MySQL版 重磅推出的列存索引（In-Memory Column Index，简称IMCI）面向OLAP场景大数据量复杂查询。通过列存索引，PolarDB MySQL版 实现了一体化的实时事务处理和实时数据分析的能力，成为一站式HTAP数据库产品解决方案。通过一套...
准备数据
同步速率 设置同步速率可以保护读取端数据库，以避免抽取速度过大，给源库造成太大的压力。同步速率建议限流，结合源库的配置，请合理配置抽取速率。错误记录数 错误记录数，表示脏数据的最大容忍条数。确认当前节点的配置无误后，单击左上...
什么是EMR on ACK
当ACK集群准备就绪后，EMR将基于ACK的资源安装部署大数据服务组件，并在容器内运行。EMR on ACK优势 优势 描述 节省成本 您无需为大数据服务单独购买ACK集群，通过简单的配置即可在已有的ACK集群上执行大数据作业，成本低廉。复用现有ACK...
2022年
基于MaxCompute的智能推荐解决方案 基于MaxCompute+开放搜索的电商、零售行业搜索开发实践 基于MaxCompute+PAI的用户增长方案实践 基于MaxCompute的实时数据处理实践 基于MaxCompute分布式Python能力的大规模数据科学分析 基于MaxCompute+...
创建时序预测作业
下图中红色竖线左侧的曲线表示已出现的时序数据（时序预测作业基于该数据进行预测），红色竖线右侧的曲线为预测的时序数据。您还可以单击 查看异常事件，查看在对应的时序预测过程中出现的错误信息。相关操作 创建时序预测作业后，您可以在...
客户案例
从大数据平台上云整体“降本增效”的方案快速切入，迁移到大数据MaxCompute、实时计算、DataWorks后，部分任务有10倍以上的性能提升，存储从自建Hadoop 3PB降到900T，利用Flink实时数据处理能力，将宝宝树现有的场景实时化（“基于用户ID...
产品概述
什么是E-MapReduce 开源大数据开发平台E-MapReduce（简称EMR），是运行在阿里云平台上的一种大数据处理的系统解决方案。EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理...
- 产品推荐
- 这些文档可能帮助您