数据源配置常见问题
可能原因：组件数据查询时间较长，而组件自动更新请求设置间隔较短。Chrome浏览器同一域名同一时间最多可以发起6个HTTP请求，所以后面的请求将pending在浏览器中无法发送至数据中心。解决方法：建议您调整自动更新请求间隔时长，或优化SQL...
基础使用
catalog org.apache.spark.sql.delta.catalog.DeltaCatalog 常用命令 创建表 CREATE TABLE delta_table(id INT)USING delta;插入数据 INSERT INTO delta_table VALUES 0,1,2,3,4;覆盖写数据 INSERT OVERWRITE TABLE delta_table VALUES 5,6...
KV2Table
您可以使用KV2Table转化KV（Key:Value）格式的表为普通表格式。Key转换成表的某列名，Value转成该列在对应行的值。背景信息 KV表格式定义：Key是列名的index，Value支持BIGINT、DOUBLE和STRING类型。在该组件中可以输入用户定义的key_map表...
交叉透视表
图表样式 交叉透视表是表格组件的一种，支持数据内容的自定义展示，能够将数据信息以表格的形式清晰地展示在可视化应用上。样式面板 搜索配置：单击 样式 面板右上角的搜索配置项图标，可在搜索配置面板中输入您需要搜索的配置项名称，快速...
新功能发布记录
2023-03-03 Flink Table Store概述 Flink Table Store与Flink集成 Flink Table Store与Spark集成 Flink Table Store与Hive集成 Flink Table Store与Trino集成 支持导出和导入服务配置 阿里云E-MapReduce（简称EMR）提供的导出服务配置功能...
关键词抽取
本文为您介绍 Designer 提供的关键词抽取算法组件。关键词抽取是自然语言处理中的重要技术之一，具体是指从文本中将与这篇文章意义相关性较强的一些词抽取出来。该算法基于TextRank，根据PageRank算法思想，利用局部词汇之间关系（共现窗口...
PLDA
主题模型用于在一系列文档中发现抽象主题（topic）的一种统计模型，在 PAI 平台，您可以通过给PLDA组件设置topic参数值，从而让每篇文档抽象出不同主题。LDA（Latent Dirichlet allocation）是一种主题模型，它可以按照概率分布的形式给出...
XGBoost预测
其中：XGBoost预测组件输出为原生XGBoost库输出的JSON序列化，如果您想在工作流中接入 二分类评估 组件，您需要在 XGBoost预测 组件的下游接入 SQL脚本 组件，并配置以下代码，将 XGBoost预测 组件输出的JSON序列化转换为 二分类评估 组件...
宽表模型介绍
2 开通表格存储服务 使用 表格存储 功能前，您必须开通 表格存储 服务。服务仅需开通一次，开通过程免费。如果已经开通 表格存储 服务，请跳过此操作。3 创建实例 重要 创建实例前，您需要根据实际业务特点以及业务对读写性能和成本要求...
表格明细
使用场景 当需要通过表格的方式枚举数据明细时，您可以选择使用 表格明细 组件。使用说明 如果不配合 表单容器 组件使用 表格明细，绑定变量 的数据源类型需为List类型。如果配合 表单容器 组件使用 表格明细，对象字段 的数据源类型需为...
配置SAP Table输入组件
SAP Table输入组件用于读取SAP Table数据源的数据。同步SAP Table数据源的数据至其他数据源的场景中，您需要先配置SAP Table输入组件读取的数据源，再配置数据同步的目标数据源。本文为您介绍如何配置SAP Table输入组件。前提条件 已创建...
漏洞公告|Apache Log4j2远程代码执行漏洞
近日，阿里云计算有限公司发现Apache Log4j2组件存在远程代码执行漏洞，并将漏洞情况告知Apache软件基金会。本文为您介绍该漏洞的影响范围及相应的修复方案。漏洞影响 具体漏洞详情，请参见【漏洞通告】Apache Log4j2 远程代码执行漏洞...
配置SAP Table输入组件
SAP Table输入组件用于读取SAP Table数据源的数据。同步SAP Table数据源的数据至其他数据源的场景中，您需要先配置SAP Table输入组件读取的数据源，再配置数据同步的目标数据源。本文为您介绍如何配置SAP Table输入组件。前提条件 已创建...
XGBoost训练
其中：XGBoost预测组件输出为原生XGBoost库输出的JSON序列化，如果您想在工作流中接入 二分类评估 组件，您需要在 XGBoost预测 组件的下游接入 SQL脚本 组件，并配置以下代码，将 XGBoost预测 组件输出的JSON序列化转换为 二分类评估 组件...
如何优化高并发IM系统架构
介绍如何使用表格存储的主键增列功能优化高并发IM系统架构。背景 在构建社交IM和朋友圈应用时，最基本的需求是将用户发送的消息和朋友圈的更新及时、准确地更新给该用户的好友。这需要为用户发送的每一条消息或者朋友圈更新设置一个序号...
自定义菜单API
Lifecycle 自定义菜单本质上是一个生命周期(Lifecycle)对象,其接口为：interface Lifecycle { bootstrap?LifecycleBootstrap;mount?LifecycleMount;unmount?LifecycleUnmount;update?LifecycleUpdate;} 例子/这是一个自定义菜单 const ...
Python SDK常见问题
本文为您介绍Python SDK常见问题，即PyODPS。问题类别 常见问题 安装PyODPS 安装PyODPS时，提示Warning:XXX not ...table_names=['table1',.,'tableN']dfs=[o.get_table(tn).to_df()for tn in table_names]reduce(lambda x,y:x.union(y),...
PyODPS常见问题
本文为您介绍使用PyODPS时的常见问题。问题类别 常见问题 安装PyODPS 安装PyODPS时，提示Warning:XXX not ...table_names=['table1',.,'tableN']dfs=[o.get_table(tn).to_df()for tn in table_names]reduce(lambda x,y:x.union(y),dfs)...
添加TableStore数据源
如果画布中还没有组件，请先添加组件，详情请参见 组件画布操作。在画布右侧的组件配置面板中选择 数据源。在 设置数据源 模块中，选择 数据源类型 为 TableStore。在 选择已有数据源 列表中选择配置完成的TableStore数据源。在 选择操作 ...
漏洞公告|Apache Hadoop FileUtil.unTar命令注入漏洞
漏洞影响 漏洞影响的Hadoop版本：2.0.0漏洞影响的EMR版本：存量集群的EMR 3.x系列、EMR 4.x系列、EMR 5.x系列（EMR-5.8.x及之前的版本）均受到影响。缺陷严重程度：该漏洞被评估为高危漏洞，需要尽快修复。关于该漏洞的详细信息，请参见...
跨集群复制数据
Kafka服务端和Confluent Platform组件的端口 KRaft mode 组件 Origin Destination Kafka brokers 9082 9092 KRaft controllers 9071 9093 Metadata server listeners(in brokers)8091 8090 Connect Replicator worker 8083 Control Center ...
管理引导操作
执行时间 组件安装前：组件安装前执行该脚本。组件启动后：组件启动后执行该脚本。执行失败策略 继续执行：如果该脚本执行失败，继续执行下一个脚本。停止执行：如果该脚本执行失败，停止当前脚本。执行范围 集群：此引导操作适用于整个...
添加TableStore数据源
{"table_name":"test","direction":"FORWARD","columns":["id","test"],"range":{"limit":4,"start":{"id":"InfMin"},"end":{"id":"3"} } } 参数 说明 table_name 待查询TableStore的表名称。direction 读取方向。如果值为正序（FORWARD）...
使用Prometheus监控E-MapReduce
若您已安装EMR类型的组件，需要再次添加该组件：在集成中心页面单击 已安装 区域 E-MapReduce 组件卡片的 添加。在 STEP2 区域的 配置 页签配置相关参数，并单击 确定，完成组件接入。参数 说明 EMR集群ID 填写EMR集群的实际ID，即在 步骤...
使用Prometheus监控E-MapReduce
若您已安装EMR类型的组件，需要再次添加该组件：在集成中心页面单击 已安装 区域 E-MapReduce 组件卡片的 添加。在 STEP2 区域的 配置 页签配置相关参数，并单击 确定，完成组件接入。参数 说明 EMR集群ID 填写EMR集群的实际ID，即在 步骤...
元数据仓库共享模型标准访问方式
元数据共享模型是一系列元数据相关的物理表，基于Dataphin的系统元数据和相应计算引擎的元数据加工汇总而成，存储在Dataphin元仓租户下的元仓项目中，产出时效为T+1。若您需访问元仓共享模型，可以通过集成任务将元仓中所需的元仓共享模型...
逻辑回归二分类
组件配置 您可以使用以下任意一种方式，配置逻辑回归二分类组件参数。方式一：可视化方式 在 Designer 工作流页面配置组件参数。页签 参数 描述 字段设置 训练特征列 输入数据源中，用于训练的特征列。支持DOUBLE及BIGINT类型。说明 特征...
云服务可观测
在 组件管理 页签的 组件类型 区域单击 大盘，即可查看内置的Grafana大盘。步骤三：配置告警 登录 Prometheus控制台。在左侧导航栏单击 接入管理。在 接入管理 页面的 已接入环境 页签中，选择 云服务区域环境。在 云服务区域环境 列表中，...
云服务可观测
在 组件管理 页签的 组件类型 区域单击 大盘，即可查看内置的Grafana大盘。步骤三：配置告警 在左侧导航栏单击 接入管理。在 接入管理 页面的 已接入环境 页签中，选择 云服务区域环境。在 云服务区域环境 列表中，单击目标环境名称进入...
查询Delta表数据
create table delta_table(id int)using delta location"/tmp/delta_table;执行以下命令，向表中插入数据。insert into delta_table values 0,1,2,3,4;执行以下命令，查看表数据。select*from delta_table;返回包含如下的信息。2 3 4 0 1 ...
如何统计冷存数据
它是 polar_osfs_table_size()结果与表所有索引所占空间之和，功能上与本地盘存储的 pg_total_relation_size 函数对应。语法 bigint polar_osfs_table_size(cstring relname);参数 参数名称 描述 relname 表或索引名称
评分卡训练
pai-name=linear_model-project=algo_public-DinputTableName=input_data_table-DinputBinTableName=input_bin_table-DinputConstraintTableName=input_constraint_table-DoutputTableName=output_model_table-DlabelColName=label-...
XUANWU_V2引擎介绍（邀测中）
本文为您介绍 云原生数据仓库 AnalyticDB MySQL 版 表引擎（XUANWU_V2）和相关组件（Compaction Service）的使用方法。前提条件 满足以下两个条件的集群支持XUANWU_V2引擎：产品系列为 湖仓版（3.0）。内核为3.2.0及以上版本。说明 如何...
列存索引行列融合基础组件介绍
本文介绍了列存索引行列融合基础组件（优化器代价模型、执行器多引擎访问、存储引擎日志回放和事务处理）以及处理长尾请求问题的HybridIndexSearch算子的相关内容。背景信息 事务处理（OLTP）和分析处理（OLAP）混合工作负载在当前的业务...
如何通过图算法能力获取OneID高质量人
INSERT overwrite table table_create_device_id PARTITION(ds='2023-11-11')select device_id from(select DISTINCT(trusted_id)as device_id from table_orgin where dt='2023-11-11' and trusted_id is not null UNION select DISTINCT...
冷热分层
本文介绍冷数据的特点和适应场景，通过表格存储Tablestore和Delta Lake结合示例，演示数据的冷热分层。冷热分层可以充分利用计算和存储资源，以低成本承载更优质服务。背景信息 在海量大数据场景下，随着业务和数据量的不断增长，性能和...
列存索引中GroupJoin算子的实现
INNER JOIN/GROUP BY RIGHT 此场景如下SQL所示：l_table INNER JOIN r_table ON l_table.key1=r_table.key1 GROUP BY r_table.key1 考虑到l_table.key1=r_table.key1，这种情况被归到“INNER JOIN,GROUP BY LEFT”里。LEFT OUTER JOIN/...
线性回归
组件配置 您可以使用以下任意一种方式，配置线性回归组件参数。方式一：可视化方式 在 Designer 工作流页面配置组件参数。页签 参数 描述 字段设置 选择特征列 输入数据源中，参与训练的特征列。选择标签列 支持DOUBLE及BIGINT类型。是否...
表批读写
读取表 您可以通过指定表名或路径将Delta表加载到DataFrame中：SQL%sql SELECT*FROM events-query table in the metastore SELECT*FROM delta.`/mnt/delta/events`-query table by path Python%pyspark spark.table("events")#query table ...
MTable聚合
该组件将Table按照分组列聚合成MTable。使用限制 支持的计算引擎为MaxCompute、Flink和DLC。可视化配置组件参数 输入桩 输入桩（从左到右）数据类型 建议上游组件 是否必选 数据 无 读数据表 特征工程 数据预处理 是 组件参数 页签 参数 ...
- 产品推荐
- 这些文档可能帮助您