冷数据归档常见问题
对普通表和分区表执行冷数据归档操作后，您可以通过以下方法查询归档后的冷数据：普通表：执行冷数据归档后，查询冷数据的方法和查询热数据的方法一致，不需要修改访问方式。分区表：执行冷数据归档后，查询冷数据的操作方法请参见 查询...
快速启动AIRec冷启动版
二、数据准备 使用智能推荐冷启动版服务时，您需要上传三张表的数据，分别为用户表、物品表、与行为表，上传规范详见：冷启动版数据规范 说明 行为表需要圈选至少20万用户的历史行为数据上传，作为初始数据用于训练模型，以便提供后续推荐...
通过数据补全与专属模型，提升新用户转化效果
AIRec冷启动版通过应用三方数据补充（此处已支持基于友盟服务的匿名化Embedding数据，若企业已采买其他数据源欢迎洽谈），并结合用户行为、自有特征等，训练行业冷启动模型，生成对每一个新用户的个性化展示建议，并支持结合新用户实时行为...
智能推荐的审计事件
ListColdStartMetrics 查询冷启动实例的指标数据。ListDashboard 查询大盘列表。ListDashboardDetails 通过条件查询实例的细分指标。ListDashboardDetailsFlows 通过指定条件查询实例的细分流量指标。ListDashboardMetrics 查询指定实例的...
冷数据归档
基于冷温热数据的数据量以及查询频度的特点，Lindorm时序引擎实现了对时序数据冷温热分层存储。如下所示：对于数据量最大的冷数据，时序引擎会自动根据用户设置的基于业务时间戳的冷热分界线自动将冷数据归档到冷存储中。当需要查询冷数据...
常见问题
A：这是因为主表和索引表的冷数据归档过程是独立的，并且归档主表和索引表冷数据的操作是周期性触发的，导致了主表和索引表滞留在热存储的数据不一致，进而出现查询到的冷数据不一致的现象。您可以在查询条件中添加热数据的时间范围，避免...
按时间戳冷热分离
注意事项 若某一行数据同时包含热数据和冷数据，例如更新了部分列导致一行数据中既存在热数据又存在冷数据的场景，开启查询热数据优先功能会导致该行的查询结果分两次返回，即Scanner返回的Result集合中，对于同一个Rowkey会有两个对应的...
ListDoctorHiveTables-批量获取Hive表分析结果
冷数据指的是 30 日内没有访问的数据，但是 90 日以内有访问的数据。freezeDataSize:极冷数据数的据量大小。极冷数据指的是 90 日以内都没有访问的数据。totalDataSize:总数据量大小。hotDataRatio:热数据的数据量大小占比。热数据指的是 7...
ListDoctorHDFSDirectories-批量获取HDFS目录分析结果
冷数据指的是 30 日内没有访问的数据，但是 90 日以内有访问的数据。freezeDataSize:极冷数据的数据量大小。极冷数据指的是 90 日以内都没有访问的数据。totalDataSize:总数据量大小。totalFileDayGrowthCount:总文件个数日增量。...
查看集群日报与分析
目录冷热数据分布信息会展示极冷数据、冷数据、温数据、热数据在各个层级目录下的比例分布，目前EMR Doctor分析支持四级目录的下钻分析。参数 描述 极冷数据 超过3个月未访问的数据。冷数据 超过1个月未访问，但三个月内有访问的数据。温...
GetDoctorHDFSCluster-获取HDFS分析结果
冷数据指的是 30 日内没有访问的数据，但是 90 日以内有访问的数据。Name string 指标名称。coldDataSize Value long 指标值。5570958082267 Unit string 指标单位。MB Description string 指标描述。Size of the cold data size ...
GetDoctorHDFSDirectory-获取HDFS特定目录分析结果
冷数据指的是 30 日内没有访问的数据，但是 90 日以内有访问的数据。Name string 指标名称。coldDataSize Value long 指标值。5570958082267 Unit string 指标单位。MB Description string 指标描述。Size of the cold data size ...
GetDoctorHiveTable-获取Hive表分析结果
冷数据指的是 30 日内没有访问的数据，但是 90 日以内有访问的数据。Name string 指标名称。coldDataSize Value long 指标值。217715 Unit string 指标单位。MB Description string 指标描述。Size of the cold data size FreezeDataSize ...
GetDoctorHiveDatabase-获取Hive库信息
冷数据指的是 30 日内没有访问的数据，但是 90 日以内有访问的数据。Name string 指标名称。coldDataSize Value long 指标值。1000 Unit string 指标单位。MB Description string 指标描述。Ratio of cold files FreezeDataSize object 极...
ListDoctorHiveDatabases-批量获取 Hive 库信息
冷数据指的是 30 日内没有访问的数据，但是 90 日以内有访问的数据。Name string 指标名称。coldDataSize Value long 指标值。1000 Unit string 指标单位。MB Description string 指标描述。Ratio of cold files FreezeDataSize object 极...
GetDoctorHiveCluster-获取 Hive 集群信息
冷数据指的是 30 日内没有访问的数据，但是 90 日以内有访问的数据。Name string 指标名称。coldDataSize Value long 指标值。1000 Unit string 指标单位。MB Description string 指标描述。Ratio of cold files FreezeDataSize object 极...
无感集成（Zero-ETL）
方案概述 在大数据时代，企业面临着大量分散在不同的系统和平台上的业务数据，为了有效地管理和利用这些数据，企业往往需要依赖于ETL工具对数据进行集中式管理。ETL是将上层业务系统的数据经过提取（Extract）、转换清洗（Transform）、...
8.0.1和8.0.2版功能对比
支持 支持 冷数据管理 为了降低数据存储成本，PolarDB for MySQL 版支持将低频使用的冷数据归档到OSS对象存储中。支持归档表 支持归档分区和表 其他 PolarDB for AI PolarDB for AI功能通过一系列MLOps和内置的模型解决了数据、...
使用冷存储
冷存储不适合并发大量读请求，如果有这种行为可能会导致请求异常。购买冷存储空间特别大的客户可以酌情调整“读IOPS 能力”，可以工单咨询。建议平均每个core节点管理冷数据不要超过30T。如果需要单个core节点管理更大数据量的冷数据，可以...
冷启动版功能详解
冷启动 版功能特色 流程可控带来的成本优化 AIRec智能推荐冷启动版为使用流程实现了高度可控制化，流程中的三个主要收费环节分别提供了开关，您可以分别独立控制数据同步、模型训练、推理与调用三个环节功能是否启用，方便您对流程进行灵活...
术语解释
术语 说明 冷启动 指启动一个全新的移动应用进程。热启动 指进程仍在后台运行的移动应用，被重新唤醒。品牌 指设备的品牌。机型 指设备的型号。运营商 指设备所属的网络服务供应商。渠道 指在SDK中配置的应用上架渠道。UTDID 是一个App级别...
开启和使用冷数据分层存储
数据冷存的几种模式 数据冷存是指将数据表/索引/物化视图转存入OSS，转存后不再占用或者极少量占用数据库云盘存储空间，从而大大降低数据库的存储成本。数据冷存后，所有的增删改查SQL都透明，无需做任何修改。普通表/索引/物化视图冷存 将...
开启和使用冷数据分层存储
数据冷存的几种模式 数据冷存是指将数据表/索引/物化视图转存入OSS，转存后不再占用或者极少量占用数据库云盘存储空间，从而大大降低数据库的存储成本。数据冷存后，所有的增删改查SQL都透明，无需做任何修改。普通表/索引/物化视图冷存 将...
开启和使用冷数据分层存储
数据冷存的几种模式 数据冷存是指将数据表/索引/物化视图转存入OSS，转存后不再占用或者极少量占用数据库云盘存储空间，从而大大降低数据库的存储成本。数据冷存后，所有的增删改查SQL都透明，无需做任何修改。普通表/索引/物化视图冷存 将...
工程架构
架构图 冷启动链路的整体框架如下图所示：冷启动链路流程 App请求推荐服务，获取推荐内容列表 推荐服务调用 冷启动召回模块，获取匹配上的候选物品 推荐服务调用 冷启动算法打分EAS服务，传递参数：待打分候选物品列表，用户/物品特征，...
函数计算冷启动优化最佳实践
选择合适的内存 在并发量一定的情况下，函数内存越大，分配的CPU资源相应越多，因此冷启动表现越优。降低冷启动概率 使用定时触发器预热函数。使用Initializer函数入口，函数计算 会异步调用初始化接口，消除掉代码初始化的时间，在 函数...
函数计算冷启动优化最佳实践
选择合适的内存 在并发量一定的情况下，函数内存越大，分配的CPU资源相应越多，因此冷启动表现越优。降低冷启动概率 使用定时触发器预热函数。使用Initializer回调，函数计算 会异步调用初始化接口，消除掉代码初始化的时间，在 函数计算 ...
开启冷数据归档
本文介绍了如何开启冷数据归档功能，以及查看开启该功能后OSS中冷数据的归档信息。前提条件 集群版本要求如下：当产品系列为 集群版 时，版本需为如下版本之一：PolarDB MySQL版 8.0.1版本且修订版本为8.0.1.1.31及以上。PolarDB MySQL版 8...
产品简介
大数据专家服务 大数据专家服务（Bigdata Expert Service）是由阿里云大数据专家基于阿里云多年大数据架构、应用、运维、AI算法建模等最佳实践经验及方法论为用户提供全方位的大数据产品技术、咨询服务及售后专家服务运维保障，帮助用户...
概述
冷启动对推荐系统来说是一个挑战，究其原因是因为现有的推荐算法，无论是召回、粗排还是精排模块，都对新用户、新物品不友好，它们往往过度依赖系统收集到的用户行为数据，而新用户和新物品的行为数据是很少的。这就导致新物品能够获得的...
应用场景
实时数据通道 1.1 接入多种异构数据并投递到下游多种大数据系统 通过数据总线，您可以实时接入APP、WEB、IoT和数据库等产生的异构数据，统一管理，并投递到下游的分析、归档等系统，构建清晰的数据流，让您更好的释放数据的价值。...
访问配置
2、根据字段值判定 根据上传行为数据时，bhv_value字段内，user_new_label是否=1判断是否为新用户，可参考数据规范：behavior value 2、冷启动服务应用场景设置 该功能用于指定冷启动场景，可以通过指定场景ID，或限定其他行为表中字段的...
快速体验
DataWorks为您提供智能建模、数据清洗、周期调度运维、数据治理等一站式大数据开发管理能力，本文以一个零售电商行业的数仓搭建实验为例，为您介绍DataWorks在数仓搭建过程中的技术选型、技术流程以及流程实现，帮助您深入了解阿里云...
什么是DataWorks
DataWorks基于MaxCompute、Hologres、EMR、AnalyticDB、CDP等大数据引擎，为数据仓库、数据湖、湖仓一体等解决方案提供统一的全链路大数据开发治理平台。从2009年起，DataWorks不断沉淀阿里巴巴大数据建设方法论，支撑数据中台建设，同时与...
互联网、电商行业离线大数据分析
概述 电商网站的销售数据通过大数据进行分析后，可以在大屏幕展示销售指标、客户指标、销售排名和订单地区分布等业务指标数据。DataV大屏支持可视化动态展示销售数据，触控大屏支持您自助查询数据，极大地提高数据的可读性。应用场景 电商...
查询账单
数据冷存储的费用。数据查询的费用。数据导出的费用。预付费 按照经济版开启的计费包收取包年包月费用。按照能够开启DAS企业版 V1的数据库实例总数收取的包年包月费用。操作步骤 登录 阿里云管理控制台。在页面右上角，选择 费用>用户中心...
IoT数据自动化同步至云端解决方案
大数据分析是大数据完成数据价值化的重要手段之一，而进行大数据分析的第一步是让数据成功上云。解决方案 IoT数据自动化同步至云端解决方案主要包括存储原始数据和同步数据至分析系统两部分。IoT设备大量的数据通常以半结构化的形式存储。...
产品计费
数据冷存储 0.003元/GB/天 0.0045元/GB/天 数据冷存储的费用。如果未开启热存储，数据只存储在冷存储，30天内不收费。如果开启热存储：新引入数据将先存储于热存储（热存储首日免费），在热存储期间（热存储时长-首日）收取数据热存储的...
发展历程
关键性里程碑 2009年9月，ODPS（即现在的MaxCompute）大数据平台飞天项目正式启动。2010年10月，阿里巴巴集团自主研发的第一代云计算平台稳定运行。2013年8月，平台的单集群规模已达到5000台。2014年7月，平台开始对外提供服务，完全替换...
DataWorks on EMR数据安全方案
在大数据领域，阿里云为企业用户提供了一整套数据安全方案，包含用户认证、数据权限、大数据作业管理体系等。本文以联合使用DataWorks与EMR为例，为您介绍DataWorks on EMR场景下的数据安全方案。背景信息 DataWorks on EMR目前支持LDAP...
- 产品推荐
- 这些文档可能帮助您