预测
该组件的输入为训练模型和预测数据，输出为预测结果。组件配置 您可以使用以下任意一种方式，配置预测组件参数。方式一：可视化方式 在 Designer 工作流页面配置组件参数。页签 参数 描述 字段设置 特征列 参与预测的特征列，默认选择所有...
产品概述
持续可运维 对于绝大部分应用而言，关系型数据库需要保证能够7 x 24小时稳定工作，持续可运维是数据库的核心关键能力。PolarDB-X 1.0 在公共云和专有云持续深耕多年，提供丰富的产品化能力及完备的运维体系，通过完整的OpenAPI可让业务自行...
客户案例
MaxCompute已被广泛应用于各大领域处理云上大数据，帮助众多企业解决了海量数据分析问题，同时降低企业运维成本，企业人员可更专注于业务开发。本文为您介绍MaxCompute的精选客户案例。MaxCompute的全量客户案例信息，请参见 行业客户案例...
选型配置说明
HDFS、YARN、Hive、Spark、Presto、Impala、JindoData、DeltaLake、Hudi、Iceberg、OpenLDAP、Knox、Kyuubi等 Dataflow 实时数据流场景，其中核心组件Flink是阿里云提供的基于Apache Flink和E-MapReduce Hadoop构建的企业级大数据计算平台...
数据组织优化
Clustering 当前痛点 Transactional Table 2.0支持分钟级近实时增量数据导入，高流量场景下可能会导致增量小文件数量膨胀，从而引发存储访问压力大、成本高，并且大量的小文件还会引发Meta更新以及分析执行慢，数据读写I/O效率低下等问题，...
DataWorks On CDP/CDH使用说明
一、数据集成 DataWorks的数据集成模块为您提供读取和写入数据至CDP/CDH Hive、CDP/CDH HBase的能力，您需要将Hive或HBase组件创建为 DataWorks的 Hive或HBase数据源，实现将其他数据源的数据同步至Hive或HBase数据源，或将Hive或HBase数据...
简介
Notebook：一个交互式的记事本，可以将代码、文字、图表集中在一个页面，支持高效查询、可视化预测数据变化趋势。AI Agent：可定制可发布的人工智能代理，可以作为对外的统一数据服务层，通过自然语言交互。查询数据的人员可以通过自然语言...
数据治理
数据地图 为什么数据地图数据总览页存储量和存储趋势图相差较大？数据地图血缘展示延迟问题 数据地图新建表搜不到 当前表业务逻辑变更如何通知下游？哪些类型的Hive表支持在数据地图中预览？数据保护伞 数据保护伞为什么有时候查询脱敏有...
确认表血缘
任务配置上下游节点依赖前，您需先确认当前节点的表血缘关系（例如，表数据间的血缘关系、表产出的分区数据），基于血缘关系配置节点的调度依赖。本文为您介绍如何确认表血缘，以及未基于表血缘配置节点依赖的影响。背景信息 确认表血缘，...
数据建模：智能数据建模
智能数据建模是阿里云DataWorks自主研发的智能数据建模产品，沉淀了阿里巴巴十多年来数仓建模方法论的最佳实践，包含数仓规划、数据标准、维度建模及数据指标四大模块，帮助企业在搭建数据中台、数据集市建设过程中提升建模及逆向建模的...
应用场景
云数据库HBase是一个键值/宽表型的分布式数据库，适用于任何数据规模，可以提供单个毫秒响应的性能，尤其擅长低成本、高并发的场景，支持水平扩展到PB级存储和千万级QPS，在淘宝、支付宝、菜鸟等众多阿里巴巴核心服务中起到了关键支撑的...
概述
随着业务的快速发展，企业数据呈几何倍增长，数据量庞大、复杂、各类数据间标准不一致，往往会出现数据难以管理的现象。DataWorks智能数据建模服务，将无序、杂乱、繁琐、庞大且难以管理的数据，进行结构化有序的管理。使企业中的数据产生...
DAS Auto Scaling弹性能力
数据库自治服务DAS的Auto Scaling是以数据库实例的实时性能数据作为输入，由DAS完成流量异常发现、合理数据库规格建议和合理磁盘容量建议，使数据库服务具备自动扩展存储和计算资源的能力。背景信息 为业务应用选择一个合适的数据库计算...
组件参考：所有组件汇总
swing推荐 该组件是swing的批处理预测组件，您可以使用该组件基于swing训练模型和预测数据进行离线预测。协同过滤etrec etrec是基于 item 的协同过滤算法，输入为两列，输出为 item 之间的相似度TopN。向量召回评估 向量召回评估组件计算...
PolarDB Serverless实现了哪些突破
简而言之，第一代云原生数据库无法实现计算和内存资源解耦，导致目前云原生数据库价格依然高于RDS和自建数据库，这也是其无法占据大部分市场的核心原因。实现新架构的突破 随着 PolarDB Serverless新架构的率先提出，原生数据库的困境出现...
核心能力
数据资源平台提供了一站式数据资产定义、生产、管理与服务平台，提供企业级数据资产构建能力和一致性使用体验，助力客户快速构建数据智能平台，实现数据资源统一管理，挖掘潜在规律，优化业务决策，让大数据真正的驱动客户业务。...
常见问题
支持的数据库部署位置（接入方式）阿里云实例 有公网IP的自建数据库 通过数据库网关DG接入的自建数据库 通过云企业网CEN接入的自建数据库 ECS上的自建数据库 通过专线/VPN网关/智能接入网关接入的自建数据库 阿里云实例 通过数据库网关DG接...
核心自治技术案例解析
您可以采集各种数据，比如从链路上采集数百个数据库性能指标和从链路上采集已加载SQL语句的查询日志，海量数据的离在线处理与存储，基于机器学习和数据库领域预测算法，实现各业务数据库实例的持续模型训练，实时模型预测和实时异常检测...
什么是云数据库HBase
云数据库HBase是低成本、高扩展、云智能的大数据NoSQL，兼容标准HBase访问协议，提供低成本存储、高扩展吞吐、智能数据处理等核心能力，是为淘宝推荐、花呗风控、广告投放、监控大屏、菜鸟物流轨迹、支付宝账单、手淘消息等众多阿里巴巴...
应用场景
图数据库GDB针对高度互联数据的存储和查询场景进行设计，并在内核层面进行了大量优化，非常适合营收增长、金融风控、商品推荐、社交推荐、循环担保检测、异常指标监控和违规团伙挖掘等场景。营收增长 图数据库GDB提供智能搜索推荐一体化...
类目预测功能介绍
类目预测基本原理 类目预测的目标是预测搜索的query与类目的相关度，它需要用到历史query数据、点击行为数据、类目下的物品信息数据。具体来说是把之前搜过的query收集起来，结合搜索后的点击行为数据，与类目下的物品信息联系起来，刻画...
全球数据库市场发展与机遇
数据库起源于上世纪70年代，在技术发展浪潮中历久弥新，已成为IT科技的核心技术之一，支撑着现代社会的经济活动和商业文明。长期以来，全球商业化数据库主要以Oracle、IBM、Microsoft、SAP传统四大厂商为主。随着新金融、新零售、新制造、...
面临的业务挑战
数据来源上包含数据库数据、日志数据、对象数据以及已有数仓上的存量数据等。这些不同来源、不同格式的数据，各自又有不同的访问和分析方式，而大量传统企业基于关系数据库构建自己的业务系统，已经非常熟悉按SQL的方式去使用数据，这无疑...
二分类评估
预测目标与评估目标是否一致 例如，在金融场景中，训练程序预测坏人的概率，其值越大，表示样本越坏，相关指标（例如LIFT）评估的是抓坏率，此时预测目标与评估目标一致。在信用评分场景中，训练程序预测好人的概率，其值越大，表示样本越...
模型预测概述
本文为您介绍在Designer训练得到模型后，如何进行生产化部署以对新数据进行预测。部署模型主要是为了使用模型来进行新数据的预测。根据新数据预测的时效要求，预测任务分为两类：在线预测和离线预测。对于这两种需求，在Designer中都提供了...
ECS实例说明
大数据型 使用本地SATA盘作存储数据，存储性价比高，是大数据量（TB级别的数据量）场景下的推荐机型。说明 Hadoop、Data Science、Dataflow和Druid类型的集群支持Core节点；Zookeeper和Kafka类型的集群不支持Core节点。本地SSD型 使用本地...
概览
数据安全解决方案 数据作为企业的核心资产，数据安全是企业管理的重中之重。在传统解决方案中，存在如下问题：大量开发人员使用数据库账号密码连接数据库。由于企业人员的频繁流动（离职、转岗），安全合规上需要定期更换账号密码，账号...
版本说明
本版本说明针对的是TSDB的引擎版本。...TSDB 控制台支持对写入 TPS，存储时间线总量，存储空间三大核心指标的实时监控。安全。TSDB 实例默认仅支持 VPC 网络，加强实例保护。支持设置实例访问白名单，保护实例和数据安全。
执行引擎
批量内存分配：向量化执行引擎预测计算每个算子需求的内存空间，结合执行引擎Batch化数据模型进行批量内存分配，避免过于碎片化的内存分配。最小内存操作原则：减少不必要的内存申请/重置/释放操作，最大化地提升内存操作性能。
Serverless 实例概述
其核心优势体现在如下几个方面：以应用为中心，无需关注数据库基础架构 以应用为核心导向，绕过底层基础架构的管理和运营环节，包括部署和升级过程，使开发人员只需要聚焦于核心代码的开发。不仅能有效缩短开发周期，也能为企业减少基础...
数据集成概述
离线（批量）的数据通道通过定义数据来源和去向的数据源和数据集，提供一套抽象化的数据抽取插件（Reader）、数据写入插件（Writer），并基于此框架设计一套简化版的中间数据传输格式，从而实现任意结构化、半结构化数据源之间数据传输。...
概述
Serverless数据库能够使得数据库集群资源随客户业务负载动态弹性扩缩，将客户从复杂的业务资源评估和运维工作中解放出来。本文介绍了Serverless的工作原理、核心优势和适用场景。背景 数据库是现代企业IT系统中非常重要的一部分。在创建...
冷数据归档常见问题
归档为CSV格式的数据的数据量可能会比归档为ORC格式的数据的数据量更大。为什么归档后的冷数据及文件在主账号下面的OSS上看不到？PolarDB 的冷数据存储在系统默认的OSS上，不在客户的OSS里，所以客户无法看到。目前只支持在PolarDB控制台上...
什么是EMR on ACK
阿里云E-MapReduce（简称EMR）on ACK提供了全新构建大数据平台的方式。您可以将开源大数据服务部署在阿里云容器服务Kubernetes版（ACK）之上，利用ACK在服务部署和容器应用管理的优势，减少对底层集群资源的运维投入，以便于您可以更加专注...
Iceberg概述
您可以借助Iceberg快速地在HDFS或者阿里云OSS上构建自己的数据湖存储服务，并借助开源大数据生态的Spark、Flink、Hive和Presto等计算引擎来实现数据湖的分析。核心能力 Apache Iceberg设计初衷是为了解决Hive数仓上云的问题，经过多年迭代...
模型预测
本章节为您介绍在 Designer 训练得到模型后，如何做生产化部署对新数据进行预测。背景信息 部署模型主要是为了使用模型来进行新数据的预测。按照新数据的预测时效要求，预测任务分为两类：离线预测和在线预测。对于两类需求，在Designer...
进入组件分析模式
DataV组件分析模式提供与原有组件的数据和样式配置不同的创作模式，采用以数据为核心、自动化样式配置、探索式构建视图的流程设计。通过优化数据视图绑定操作，方便您使用基于数据生成的模型创作可视化应用。本文介绍三种使组件进入BI分析...
管理数据集
数据集是基于特定数据库和SQL查询生成，并且以二维表呈现的一种数据集合。本文介绍创建、编辑、删除数据集的方法。注意事项 数据分析后续所有的分析工作、仪表盘制作和大屏制作都是基于数据集进行的，因此在进行其他功能前，必须先创建数据...
其他数据库对象
简介 表是一个关系型数据库结构中的核心对象，因为它们承载了我们的数据。但是它们并不是数据库中的唯一一种对象。有很多其他种类的对象可以被创建来使得数据的使用和刮泥更加方便或高效。在本章中不会讨论它们，但是我们在会给出一个列表...
EMR Workbench
阿里云EMR Workbench是一个综合性的大数据分析和开发环境，作为阿里云E-MapReduce的一部分，它提供了EMR Notebook和EMR Workflow两个核心功能。通过EMR Workbench，您可以轻松进行数据开发，以及交互式数据分析，并设计复杂的数据处理工作...
- 产品推荐
- 这些文档可能帮助您