K近邻
create table pai_knn_test_input as select*from(select 1 as f0,2 as f1,'good' as class from dual union all select 1 as f0,3 as f1,'good' as class from dual union all select 1 as f0,4 as f1,'bad' as class from dual union all...
基本概念（V4）
计算源 计算源 是存储分析对象底层数据表的数据库，并由计算源进行 ID Mapping，完成用户身份识别和全渠道数据整合。同一个MaxCompute数据库可以添加到不同的空间作为计算源。分析源 原始数据在计算源中完成ID Mapping后，将被导入 分析源...
表存储格式：列存、行存、行列共存
Hologres支持三种表存储格式，分别为：行存、列存和行列共存，不同的存储格式适用于不同的查询场景，您需要根据表的使用场景设置表的存储格式，合适的存储格式可以显著提高数据处理和查询速度，同时也可以节省存储空间。设置存储格式语法 ...
常见问题
本文列举了阿里云 表格存储 的常见问题，帮助您快速了解 表格存储。一般性常见问题 什么是 表格存储？表格存储 面向海量结构化数据提供Serverless表存储服务，同时针对物联网场景深度优化提供一站式的IoTstore解决方案。适用于海量账单、IM...
指令支持列表
创建图表/报表 功能名称 能力介绍 指令描述示例 支持的范围 创建图表 通过自然语言描述您的数据分析需求，AI将自动为您创建对应的图表“使用 XX数据集，展示 各省份的签单金额”指标看板、交叉表、明细表、线图、柱图、饼图、散点图、排行...
设备数据存储和计算实践
本文介绍如何存储和计算已接入物联网平台设备的数据，以挖掘设备数据更多的价值。背景信息 物联⽹平台数据一般来⾃于已接入的智能设备、传感器设备等。只要设备在运⾏中，就会持续不断地产⽣设备数据。设备数据的使⽤价值根据场景千差万别...
步骤三：设置任务调度策略并发布
如果需要调整SQL分析任务输出的存储表的结构，且保留原已生成的数据存储表的数据，请重新创建并配置SQL分析任务。修改或删除已发布的SQL分析任务前，需先撤销该任务。仅可修改或删除状态为 未上线 和 已下线 的SQL分析任务。不可恢复已删除...
时序模型介绍
表格存储的时序模型是针对时间序列数据的特点进行设计，适用于物联网设备监控、设备采集数据、机器监控数据等场景，支持自动构建时序元数据索引、丰富的时序查询能力等功能。时序模型通过时序表存储时间序列数据，能提供高并发写入和查询...
功能特性
系统按照您设定的数据同步时间自动、无缝的帮您把数据源中的数据同步到目标数据仓库OSS中，同时在数据仓库和DLA中创建与数据源表相同的表结构，基于目标数据仓库进行数据分析，不影响数据源端的线上业务运行。概述 实时数据湖 基于DLA ...
组件参考：所有组件汇总
KV2Table 该组件可以将KV（Key:Value）格式的表转换为普通表格式。Table2KV 该组件分为可分化方式和PAI命令方式，可以转化普通表为KV（Key:Value）格式的表。特征工程 特征重要性过滤 特征重要性过滤组件为线性特征重要性、GBDT特征重要性...
成本
AnalyticDB PostgreSQL版 采用计算节点本地存储的模式，支持行式存储和列式存储，支持非易失存储、固态硬盘、机械硬盘等多种存储介质，支持单节点最大10TB存储空间。在此基础之上，AnalyticDB PostgreSQL版 进一步提供了存储压缩能力、OSS...
PAI图像分类预测
PAI-EasyVision提供图像分类的训练和预测能力，支持多机分布式训练和预测。本文为您介绍如何通过PAI-EasyVision使用已有的训练模型完成图像分类离线任务。数据格式 请参见 输入数据格式。图像分类预测 基于已有的文件列表，您可以通过PAI...
功能特性
OSS数据湖加速 基于OSS-HDFS构建数据湖 对于存储在OSS-HDFS上的数据，Hologres通过DLF实现元数据管理，通过JindoSDK实现数据的直接访问以及回写，回写目前仅支持ORC、Parquet、CSV及SequenceFile格式的表。基于OSS-HDFS构建数据湖 高可用...
PAI图像语义分割预测
PAI-EasyVision提供图像分割的训练和预测功能，支持多机分布式训练和预测。本文为您介绍如何通过PAI-EasyVision使用已有的模型完成图像分割离线任务。数据格式 请参见 输入数据格式。图像语义分割预测 基于已有的文件列表，您可以通过PAI...
Kafka实时入湖建仓分析
DLA Lakehouse实时入湖方案利用数据湖技术，重构数仓语义，分析数据湖数据，实现数仓的应用。本文介绍Kafka实时入湖建仓分析的操作步骤。前提条件 已在DLA中开通云原生数据湖分析服务。更多信息，请参见 开通云原生数据湖分析服务。已创建...
来源去向图
当节点类型为source时，分别通过source1和source2进入a和b的访问量，来源表如下：当节点类型为center时，分别通过a和b访问中心节点的访问量，中心节点表如下：当节点类型为goal时，分别通过a或b流向goal1和goal2的访问量，去向表如下：为了...
概述
若集群中某些库表的数据几乎没有更新、插入和修改操作，且读取频率非常低，如果您有降本需求，可以使用 PolarDB MySQL版 提供的冷数据归档功能，将这部分数据转存至低成本的OSS上存储，以降低数据存储成本。本章节介绍了冷数据归档方法、...
产品概述
产品规格 软硬一体 产品规格 规格说明 工业边缘数采一体机（高规格）双机高可靠服务器，40万TPS/10万点位/数据存储半年 工业边缘数采一体机（中规格）双机高可靠服务器，4万TPS/2万点位/数据存储半年 工业边缘数采一体机（低规格）单节点...
关键词抽取
模块 实 现了 基于 自由 形状 变形 网格 变形 算法 遗传算法 差分 进化 算法 飞机 表面积 计算 算法 基于 矩 积分 飞 机 体积 计算 算法 开发 基于 VTK 数据 可视化 格式 工具 PAI命令 PAI-name KeywordsExtraction-DinputTableName=maple_...
使用ETL分析实时订单
本文通过案例为您介绍如何使用ETL实现实时订单分析。应用场景 为满足企业处理实时数据的需求，ETL提供了流式数据抽取、加工和加载功能，能够高效整合海量实时数据，支持拖拽式操作和低代码开发方式，帮助企业轻松完成商业决策分析、报表...
基于代价的SQL优化
在海量数据的复杂分析场景下，查询效率变得尤为重要。实现复杂查询的实时分析，是 AnalyticDB MySQL 的核心优势之一。AnalyticDB MySQL 采用基于代价的查询优化器（Cost-Based Optimizer），以获得最佳的查询执行计划，提高查询效率。...
将AI模型推理结果写回数据库
示例如下：图1中的表为原表，其中，TripID为主键，Airline、Flight、AirportFrom、AirportTo、DayOfWeek、Time和Length为一次航班飞行的相关信息。图2中的表为图1中表的AAT，表中的result列是根据一个AI模型生成出来的结果。该表既包含了...
Hudi存储
同时Apache Hudi还支持多版本的⽂件管理协议，提供⼊湖和分析过程中的增量数据实时写⼊、ACID事务、小⽂件⾃动合并优化、元信息校验和Schema演进、⾼效的列式分析格式、⾼效的索引优化、超⼤分区表存储等能⼒。AnalyticDB MySQL 团队基于...
产品架构
按照传统方案，为了满足多种类型数据的存储、查询和分析需求，在设计IT架构时，需要针对不同种类的数据，采用不同的存储分析技术，如下图：这种技术方案，是一种典型的技术碎片化的处理方案。针对不同的数据，使用不同的数据库来处理。有...
Jindo sql命令介绍
使用Jindo sql分析OSS访问日志 注意 分析OSS访问日志需要指定OSS访问日志目录和指定是否为分区表，指定分区表会自动按照Bucket或date进行日志归档，能够支持使用过滤语句指定查询某个分区，极大的提升了查询效率，但是开启分区表之后必须...
概述
MaxCompute SQLML在底层依赖 人工智能平台 PAI 平台做模型创建、预测、评估等操作。本文为您介绍SQLML的功能、支持的机器学习模型、支持的预测模型函数和评估模型函数。功能介绍 MaxCompute SQLML功能依赖MaxCompute和 人工智能平台 PAI ...
INSERT
行列共存表：会分别Flush为行存和列存两种文件，SST和ORC格式，在Flush过程中会保证数据的一致性，只有行存、列存都同时Flush完成才会返回成功，同时在存储上行列共存相当于是两份存储，因此行列共存的表在存储上会有一定的牺牲。...
Jindo sql命令介绍
使用Jindo sql分析OSS访问日志 注意 分析OSS访问日志需要指定OSS访问日志目录和指定是否为分区表，指定分区表会自动按照Bucket或date进行日志归档，能够支持使用过滤语句指定查询某个分区，极大的提升了查询效率，但是开启分区表之后必须...
Jindo sql命令介绍
使用Jindo sql分析OSS访问日志 注意 分析OSS访问日志需要指定OSS访问日志目录和指定是否为分区表，指定分区表会自动按照Bucket或date进行日志归档，能够支持使用过滤语句指定查询某个分区，极大的提升了查询效率，但是开启分区表之后必须...
主机选项说明
登录模式 自动登录和手工登录。自动登录 将正确的主机账号和密码录入运维审计系统，运维人员以后就不需要输入账户和密码即可成功登录到目标主机进行运维操作。手动登录 无需设置主机的账户和密码，留空即可；运维人员登录目标主机时需要...
概览
Designer 智能风控解决方案 基于外卖评论实现舆情风控 基于图算法实现金融风控 评分卡信用评分 异常指标监控 用户流失预警风控 分类 相似标签自动归类 基于文本分析算法实现新闻分类 通用方案 心脏病预测 基于回归算法实现农业贷款发放预测...
DLA Lakehouse实时入湖
源库⾏存储格式或非分析型格式，分析能力弱，需要⽀持列式存储格式。⾃建⼤数据平台运维成本高，需要产品化、云原生、⼀体化的⽅案。常见数仓的存储不开放，需要⾃建能力、开源可控。Lakehouse是一种更先进的范式（Paradigm）和方案，用来...
Designer使用案例汇总
其他通用案例 案例名称 描述 保障离线在线一致性的CTR预估方案 介绍如何使用经典的CTR点击率预估数据集Avazu训练一体化模型，并将离线调试完成的 归一化预测->独热编码预测->向量聚合->FM预测 流程完整部署到EAS。心脏病预测 介绍如何通过...
性能优化与诊断简介
查询治理 通过离线数据分析技术，在每天凌晨1点将全部实例在昨天产生的慢SQL进行统计分析和自动打标，帮助您对慢SQL进行自动分类和划分治理优先级，同时提供治理建议和数据导出功能。SQL洞察和审计 在全量请求和安全审计的基础上，融合了...
配置同周期调度依赖
通过自动解析功能基于表血缘快速设置节点依赖 该方式DataWorks将自动解析节点代码中的表血缘，通过血缘关系配置调度依赖。通过手动在节点调度配置添加上游节点依赖 通常，当通过自动解析生成的节点调度依赖配置与实际应用不符时，您可使用...
OSS数据源
如下图所示：上图对应的OSS路径如下：oss:/xxx.xxx/schema1/Table1/file1.csv oss:/xxx.xxx/schema1/Table1/file2.json oss:/xxx.xxx/schema1/Table2/file3.csv oss:/xxx.xxx/schema1/Table2/file4.csv oss:/xxx.xxx/schema1/Table3/year=...
Kafka数据接入
取值范围如下：是：在 表格存储 中根据配置的表名自动创建一个存储同步数据的表。否：使用已创建的表存储同步数据。是 目标表名 存储同步数据的表名称。如果 自动创建目标表 选择 否，表名称需与 表格存储 实例中已有表名称相同。kafka_...
基础术语
本术语表按拼音首字母顺序对术语进行排序。A APK/AAB 包加固（Android）对 APK/AAB 包，整体进行安全保护，提供 APK/AAB 包防反编译保护、DEX 文件整体加壳保护、DEX 文件防篡改保护、防白盒攻击、壳加密算法保护、防调试保护、防内存篡改...
Transaction Table2.0概述
很多业务场景并不要求延时秒级更新可见或者行级更新，更多的需求是分钟级或者小时级的近实时数据处理叠加海量数据批处理场景，MaxCompute支持基于Transaction Table2.0实现近实时的增全量一体的数据存储、计算解决方案，本文为您介绍本方案...
功能发布记录
更多引擎内部优化：存储引擎优化Tablet Lazy Open机制（主从实例均支持）：超过24小时无访问的表自动关闭内存开销，当打开表的数据量超过阈值时基于LRU策略动态选取对应Tablet进行关闭，降低表多场景下的常驻内存开销。存储引擎优化Schema...
- 产品推荐
- 这些文档可能帮助您