通过对计算节点中的脚本、自定义函数、节点输入、节点输出、参数等配置和管理,实现处理多种类型的数据,以及查看同一租户内不同工作组中的任务依赖信息,并支持根据需要设置告警上报信息。本文介绍如何设置运行配置参数。前提条件 已创建...
通过对计算节点中的脚本、自定义函数、节点输入、节点输出、参数等配置和管理,实现处理多种类型的数据,以及查看同一租户内不同工作组中的任务依赖信息,并支持根据需要设置告警上报信息。本文介绍如何设置运行配置参数。前提条件 已创建...
DMS的数据方案提供数据变更、数据导出、数据追踪、环境构建的功能,通过本文您可以了解数据方案的各项功能详情。一级功能 二级功能 功能描述 结构变更 结构设计 可以对目标库、表进行符合研发规范的表结构设计,保障多套环境(例如开发环境...
您可以通过新建开发环境场景,并在开发环境场景画布中编排节点工作流、配置运行参数,来验证数据处理流程的正确性。本文以MaxCompute节点搭建流程为例介绍如何新建开发环境场景并运行。前提条件 已创建相关的云计算资源,具体操作,请参见 ...
数据集是基于特定数据库和SQL查询生成,并且以二维表呈现的一种数据集合。本文介绍创建、编辑、删除数据集的方法。注意事项 数据分析后续所有的分析工作、仪表盘制作和大屏制作都是基于数据集进行的,因此在进行其他功能前,必须先创建数据...
您可以通过新建开发环境场景,并在开发环境场景画布中编排节点工作流、配置运行参数,来验证数据处理流程的正确性。本文以MaxCompute节点搭建流程为例介绍如何新建开发环境场景并运行。前提条件 已创建相关的云计算资源,具体操作,请参见 ...
导出内容 选择导出内容,当前支持导出 数据、结构 或 数据和结构。导出结构类型 选择导出结构类型,当前支持导出的结构类型有 存储过程、函数、触发器、视图、事件。说明 不同类型的数据库支持的导出结构类型不同,请以控制台为准。完成...
本功能持续收集SQL查询的性能指标及其使用到的数据表、索引等信息,并进行算法统计分析,自动给出调优建议,减少用户手动调优的负担。背景信息 随着各类数据分析业务的丰富和发展,数据库所承载的查询数量和复杂度持续增加。库表结构的设计...
使用限制 数据同步:支持且仅支持结构化(例如RDS、DRDS等)、半结构化、无结构化(OSS、TXT等,要求具体同步数据必须抽象为结构化数据)的数据的同步。即数据集成仅支持传输能够抽象为逻辑二维表的数据同步,不支持同步OSS中存放完全非...
当输出数据结构为具体的模型结构且数据资源类型为MaxCompute、Hive、AnalyticDB PostgreSQL、PostgreSQL时,系统会自动生成节点的输出物理表,当需要修改时,可打开自定义开关以后修改。生产环境 物理表所在资源 生产环境中节点输出使用的...
当输出数据结构为具体的模型结构且数据资源类型为MaxCompute、Hive、AnalyticDB PostgreSQL、PostgreSQL时,系统会自动生成节点的输出物理表,当需要修改时,可打开自定义开关以后修改。生产环境 物理表所在资源 生产环境中节点输出使用的...
Blink节点是流式节点,运行于Blink云计算资源之上,支持对DataHub Service、AnalyticDB MySQL、Table Store、MaxCompute、AnalyticDB PostgreSQL和RDS MYSQL类型的数据源进行处理。本文介绍如何新建Blink类型的公共节点。操作步骤 方式一:...
逻辑库 逻辑表 数据开发与分析 功能集 功能 功能描述 参考文档 SQL窗口 SQL窗口 可以非常便捷地执行各类SQL语句,同时支持以可视化的方式对目标数据库进行增、删、改、查等操作,适用于数据查询、数据开发等场景。SQL窗口介绍 SQL Console...
Blink DataStream节点是流式节点,运行于Blink云计算资源之上,支持对DataHub Service、AnalyticDB、Table Store、MaxCompute、和ApsaraDB for RDS类型的数据源进行处理。本文介绍如何新建 Blink DataStream类型的公共节点。操作步骤 方式...
Blink DataStream节点是流式节点,运行于Blink云计算资源之上,支持对DataHub Service、AnalyticDB、Table Store、MaxCompute、和ApsaraDB for RDS类型的数据源进行处理。本文介绍如何新建 Blink DataStream类型的公共节点。操作步骤 方式...
Blink节点是流式节点,运行于Blink云计算资源之上,支持对DataHub Service、AnalyticDB MySQL、Table Store、MaxCompute、AnalyticDB PostgreSQL和RDS MYSQL类型的数据源进行处理。本文介绍如何新建Blink类型的公共节点。操作步骤 方式一:...
Spark Batch节点是离线节点,运行于Spark类型的云计算资源之上,可通过输入SQL语句处理Spark类型的数据源。本文介绍如何新建Spark Batch类型的公共节点。前提条件 已创建Spark On Yarn或者Spark Cluster类型的云计算资源,具体信息,请参见...
输入数据结构 输入表的数据格式,由数据模型定义,在下拉列表中选择,表示该计算资源中提供数据的数据表的结构。当选择数据表时,需保证输入的模型与上游节点的输出数据模型相同。当选择星号(*)时,代表数据结构为任意结构,用于对未创建...
当输出数据结构为具体的模型结构且数据资源类型为MaxCompute、Hive、AnalyticDB PostgreSQL、PostgreSQL时,系统会自动生成节点的输出物理表,当需要修改时,可打开自定义开关以后修改。生产环境 物理表所在资源 生产环境中节点输出使用的...
分类 图数据库 关系型数据库 模型 图结构 表结构 存储信息 结构化/半结构化数据库 高度结构化数据库 2度查询 高效 低效 3度查询 高效 低效/不支持 空间占用 高 中 开始使用 您可以通过 入门概览 了解如何购买实例、重置密码以及链接实例和...
注意事项 Data Lake Analytics(DLA)目前仅支持查询MySQL数据库的DBS备份集数据。DLA目前仅支持全量备份的即时查询,不支持增量数据的查询。由于DLA所在的地域只能查询同地域的OSS备份文件,DLA和OSS的地域必须保持一致。DLA目前仅支持...
贴合搜题场景的痛点和需求,提供了教育行业专属的搜题智能语义理解能力、向量召回、排序算法,为在线教育行业搜题业务的搜索性能和效果准确性提供双重保障,并有效的解决了超大题库数据导致的搜索延迟高、资源消耗大、题库不完整导致的搜索...
机器学习PAI已与操作审计服务集成,您可以在操作审计中查询用户操作机器学习PAI产生的管控事件。操作审计支持将管控事件投递到日志服务SLS的LogStore或对象存储OSS的存储空间中,满足实时审计、问题回溯分析等需求。操作审计记录了用户通过...
Flink SQL节点是流式节点,运行于Flink云计算资源之上,支持对RDS MySQL、Table Store、Hive、Kafka、Hbase、Phoenix、AnalyticDB MySQL和DataHub等类型的数据进行处理。本文介绍如何新建Flink SQL类型的公共节点。背景信息 Flink SQL是...
如果节点脚本中有要求输出变量,则打开 节点输出 后面的 开关,单击 添加节点输出,添加节点输出,自定义填写输出标识,并选择输出数据结构。如果需要设置节点的全局控制参数,单击 添加参数,添加节点变量并赋值,关于全局变量的设置,更...
补集:求第二个数据集在第一个数据集中的补集,即输出第一个数据集包含而第二个数据集不包含的记录。使用限制 对数据集取交集、并集或补集的使用限制如下:MaxCompute最多允许同时对256个数据集进行操作,超出256个将报错。左右两个数据集...
游戏行业算法版介绍 游戏行业算法版基于最新算法功能,贴合游戏搜索场景的痛点和需求,提供了游戏行业专属的智能语义理解能力、向量召回、排序算法,为游戏行业的搜索性能和效果准确性提供双重保障,并有效的解决了超大词库数据导致的搜索...
DataWorks支持一键导入表结构功能,帮助您使用DataStudio快速批量创建与目标MaxCompute表结构相同的Hologres外部表,后续您可使用Hologres外部表加速查询MaxCompute表的数据。本文为您介绍如何创建并使用一键MaxCompute表结构同步节点。...
实时数仓Hologres Hologres是一站式实时数据仓库引擎,支持海量数据实时写入、实时更新、实时分析,支持标准SQL(兼容PostgreSQL协议),支持PB级数据多维分析(OLAP)与即席分析(Ad Hoc),支持高并发低延迟的在线数据服务(Serving),...
支持丰富的数据源:Hive Cassandra Kafka MongoDB MySQL PostgreSQL SQL Server Redis Redshift 本地文件 支持高级数据结构,具体如下:数组和Map数据 JSON数据 GIS数据 颜色数据 功能扩展能力强,提供了多种扩展机制:扩展数据连接器 ...
Flink Vvp SQL节点是流式节点,运行于Flink云计算资源之上,支持对RDS MySQL、Table Store、Hive、Kafka、Hbase、Phoenix、AnalyticDB MySQL、AnalyticDB PostgreSQL和DataHub等类型的数据进行处理。本文介绍如何新建Flink Vvp SQL类型的...
如果需要快速地对数据进行查询与分析,您可以使用SQL语句查询MaxCompute、EMR Hive、Hologres等数据源。本文为您介绍如何通过SQL语句查询数据源。支持查询的数据源 SQL查询支持的数据源包含MaxCompute、Hologres、EMR Hive、EMR Spark SQL...
存储引擎基于PostgreSQL实现,在继承了PostgreSQL存储引擎可扩展、高可用、强事务能力的基础同时,还具备如下特性:多种表类型:存储引擎同时支持行存表和列存表,行存表适用于高频数据增删改和点查场景,列存表适用于复杂AP分析场景,可...
内容行业算法版介绍 内容行业算法版基于最新算法功能,贴合IT内容搜索场景的痛点和需求,提供了内容行业专属的智能语义理解能力、向量召回、排序算法,为内容行业的搜索性能和效果准确性提供双重保障,并有效的解决了超大词库数据导致的...
说明 数据可视化功能即将下线,建议您在功能下线前将数据集、图表和仪表盘迁移到数据分析功能。更多信息,请参见【通知】数据可视化(老)功能下线通知 和 数据分析。准备工作 本示例已提前创建 student_courses 表,并插入部分测试数据,...
RDS MySQL节点是离线节点,运行于RDS MySQL类型的云计算资源之上,可通过输入SQL语句处理RDS MySQL类型的数据源。本文介绍如何新建RDS MySQL类型的公共节点。前提条件 已创建RDS MySQL类型的云计算资源,具体操作,请参见 新建云计算资源。...
Hologres离线数据节点,运行于Hologres云计算资源之上,支持对MaxCompute和Hologres类型的数据进行处理。本文介绍如何新建Hologres类型的公共节点。前提条件 已新建Hologres类型的云计算资源,具体操作,请参见 新建云计算资源。操作步骤 ...
RDS MySQL节点是离线节点,运行于RDS MySQL类型的云计算资源之上,可通过输入SQL语句处理RDS MySQL类型的数据源。本文介绍如何新建RDS MySQL类型的公共节点。前提条件 已创建RDS MySQL类型的云计算资源,具体操作,请参见 新建云计算资源。...
Flink SQL节点是流式节点,运行于Flink云计算资源之上,支持对ApsaraDB for RDS、Table Store、Hive、Kafka、Hbase、Phoenix、AnalyticDB MySQL和DataHub Service等类型的数据进行处理。本文介绍如何新建Flink SQL类型的公共节点。背景信息...
数据集名称 数据集介绍 向量维度 向量总数 查询数量 数据总量 距离类型 Sift-128-euclidean 该数据集是基于 Texmex 的数据集整理,使用SIFT算法得到的图片特征向量。128 1,000,000 10,000 488 MB L2 Gist-960-euclidean 该数据集是基于 ...