数据过滤器
数据表配置 系统自动解析接口返回或数据过滤脚本处理之后的结构化数据后，展示可供筛选的数据列表。注意事项 数据过滤器支持返回的数据格式：单值（Number、String、Boolean）、一维数据（一维JSON、一维表）、二维数据（一维JSON Array、...
数据导入
若批量数据导入脚本中包含了结构变更SQL，即使实例已开启无锁结构变更，该结构变更SQL也只能通过原生方式执行，不会通过无锁结构变更的方式执行。操作步骤 说明 以管控模式为安全协同的RDS MySQL数据库为例，介绍配置流程。登录 数据管理...
数据管理的审计事件
CreateStructSyncOrder 创建结构同步变更工单。CreateUploadFileJob 创建上传附件任务。CreateUploadOSSFileJob 创建上传OSS附件任务。DeleteInstance 删除数据库实例。DeleteLakeHouseSpace 删除任务流。DeleteLhMembers 删除数仓空间成员...
通过脚本实现索引结构、模板或ILM的同步
本文介绍运用Python脚本预定义ES集群索引的映射和设置，并实现索引结构、索引模板和索引生命周期管理（ILM）在目标集群的写入。前提条件 已创建两个阿里云ES实例。具体操作，请参见 创建阿里云Elasticsearch实例。本文以源端和目标端的ES...
接口
数据表配置 选中后，对接口返回或脚本处理之后的结构化数据进行解析并排序，以决定在组件上具体显示数据。更多信息，请参见 数据过滤器。处理后结果 经过脚本处理以及数据表配置优化之后的结果，将直接用于组件的显示。当勾选了 数据过滤...
结构同步
数据管理DMS 的结构同步功能支持对比不同数据库、指定表之间的表结构，产生差异化脚本并执行到目标数据库。适用于对比、同步多套数据库环境的表结构，例如生产库与测试库、不同的测试库、不同的生产库等。前提条件 支持的数据库类型如下：...
数据方案概览
表一致性修复 用于对比不同表之间的表结构，找出差异并在目标表执行差异脚本，以保障不同表之间的表结构一致性 无锁结构变更 可以较好地规避因锁表以致于阻塞业务和数据库原生OnlineDDL带来的主备延迟问题。数据变更 普通数据变更 支持数据...
获取结构同步的执行SQL脚本
调用GetStructSyncExecSqlDetail获取结构同步的执行SQL脚本。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息，可以...
k-Core
k-Core算法用于在图中找出符合指定核心度的紧密关联的子图结构。一个图的k-Core是指反复去除度小于等于k的节点后所剩余的子图，k-Core组件能够输出该子图中每个节点所连接的其他节点。配置组件 方法一：可视化方式 在Designer工作流页面...
最大连通子图
对应的数据结构图：添加SQL脚本组件，输入以下PAI命令进行训练。drop table if exists${o1};PAI-name MaximalConnectedComponent-project algo_public-DinputEdgeTableName=MaximalConnectedComponent_func_test_edge-DfromVertexCol=flow_...
生成数据库脚本
平台提供两种数据库脚本生成方式：表结构生成语句和表结构变更语句。本文为您介绍如何生成数据库脚本。操作步骤 登录BizWorks，在 选择平台 下拉列表中选中 建模平台。单击页面右上角 图标或其文本框区域，在下拉列表中单击目标项目名称后...
计数三角形
对应的数据结构图：添加SQL脚本组件，输入以下PAI命令进行训练。drop table if exists${o1};PAI-name TriangleCount-project algo_public-DinputEdgeTableName=TriangleCount_func_test_edge-DfromVertexCol=flow_out_id-DtoVertexCol=flow...
树深度
对应的数据结构图：添加SQL脚本组件，输入以下PAI命令进行训练。drop table if exists${o1};PAI-name TreeDepth-project algo_public-DinputEdgeTableName=TreeDepth_func_test_edge-DfromVertexCol=flow_out_id-DtoVertexCol=flow_in_id-...
单源最短路径
对应的数据结构图：添加SQL脚本组件，输入以下PAI命令进行训练。drop table if exists${o1};PAI-name SSSP-project algo_public-DinputEdgeTableName=SSSP_func_test_edge-DfromVertexCol=flow_out_id-DtoVertexCol=flow_in_id-...
Modularity
模块度（Modularity）是一种评估社区网络结构的指标，用来评估社区内部连接相对于社区之间连接的紧密程度，通常模块度为0.3以上表示社区划分质量较为合适。Modularity组件能够输出图的模块度。配置组件 方法一：可视化方式 在Designer工作...
PageRank
对应的数据结构图：添加SQL脚本组件，输入以下PAI命令进行训练。drop table if exists${o1};PAI-name PageRankWithWeight-project algo_public-DinputEdgeTableName=PageRankWithWeight_func_test_edge-DfromVertexCol=flow_out_id-...
点聚类系数
对应的数据结构图：添加SQL脚本组件，输入以下PAI命令进行训练。drop table if exists${o1};PAI-name NodeDensity-project algo_public-DinputEdgeTableName=NodeDensity_func_test_edge-DfromVertexCol=flow_out_id-DtoVertexCol=flow_in_...
功能特性
结构设计 结构同步 支持对比不同数据库、指定表之间的表结构，产生差异化脚本并执行到目标数据库。结构同步 空库初始化 支持将源数据库的表结构同步至空数据库中（数据库中不存在任何表），实现快速同步数据库表结构，适用部署多区域、多...
标签传播分类
对应的数据结构图：添加SQL脚本组件，输入以下PAI命令进行训练。drop table if exists${o1};PAI-name LabelPropagationClassification-project algo_public-DinputEdgeTableName=LabelPropagationClassification_func_test_edge-...
边聚类系数
对应的数据结构图：添加SQL脚本组件，输入以下PAI命令进行训练。drop table if exists${o1};PAI-name EdgeDensity-project algo_public-DinputEdgeTableName=EdgeDensity_func_test_edge-DfromVertexCol=flow_out_id-DtoVertexCol=flow_in_...
标签传播聚类
对应的数据结构图：添加SQL脚本组件，输入以下PAI命令进行训练。drop table if exists${o1};PAI-name LabelPropagationClustering-project algo_public-DinputEdgeTableName=LabelPropagationClustering_func_test_edge-DfromVertexCol=...
DBeaver
您可以通过DBeaver的图形界面查看数据库结构、执行SQL查询和脚本、浏览和导出数据、处理BLOB/CLOB数据以及修改数据库结构等。准备工作 开始使用DBeaver前，您需要完成以下准备工作。安装DBeaver软件。安装MySQL JDBC驱动。将安装了DBeaver...
OSS数据权限隔离
填写 策略名称 选择 脚本配置 脚本配置方法请参见 语法结构 编辑策略内容。本例分别按照以下两个脚本示例来创建两个权限策略：测试环境（test-bucket）生产环境（prod-bucket）{"Version":"1","Statement":[{"Effect":"Allow","Action":[...
自定义权限策略
权限策略语言的基本元素和语法结构，请参见 权限策略基本元素 和 权限策略语法和结构。ES Serverless权限策略的脚本示例。AliyunElasticsearchServerlessReadOnlyAccess：只读访问阿里云ES Serverless服务的权限，用于只读用户。{"Version...
提交消息解析脚本
sn=default 的自定义Topic上报自定义格式消息时，物联网平台收到消息数据后，需调用消息解析脚本将自定义格式数据转换为JSON结构体，再流转给后续业务系统。本文介绍如何在物联网平台控制台提交消息解析脚本实现自定义格式数据解析。使用与...
结构设计
数据管理DMS提供的结构设计功能，可以实现对目标库、表进行符合研发规范的表结构设计。您可按需自定义不同业务线的研发流程，保障多套环境（例如开发环境、测试环境、生产环境）之间结构的一致性。本文以物理库为例，介绍进行结构设计的...
新建Elastic Job类型的公共节点
配置 节点输入：如果节点文件和脚本中有要求输入，则打开 节点输入 后面的 开关，单击 添加节点输入，添加节点输入，自定义填写输入标识并选择输入数据结构。配置 节点输出：如果节点脚本中有要求输出变量，则打开 节点输出 后面的 开关，...
表结构发布流程化
本文以设计结构（Develop，简称Dev）、测试（Test）、生产发布（Product）的表结构设计步骤向您介绍规范、安全的表结构发布流程。背景信息 在新项目、新需求或者优化等业务场景中，一般会涉及到新建表、修改表（加减字段、加减索引、调整...
变量
脚本输出变量：如果脚本最后一行输出的是JSON结构数据，结构格式为 { key1:value1,key2:value2,…}，且value是String类型，脚本任务会自动获取JSON键值对，解析出变量名为 key 的变量，变量 key 的值为value。变量的引用方式为${key}。例如...
空库初始化
数据管理DMS 的空库初始化功能支持将源数据库的表结构同步至空数据库中（数据库中不存在任何表），实现快速同步数据库表结构，适用部署多区域、多单元的数据库环境。前提条件 支持的数据库类型如下：MySQL：RDS MySQL、PolarDB MySQL版、...
表一致性修复
表一致性修复功能用于对比不同表之间的表结构，找出差异并在目标表执行差异脚本，以保障不同表之间的表结构一致性。应用场景 多套不同环境之间进行表结构对比，以保障不同环境之间的表结构一致性。例如，确保测试环境与生产环境的表结构...
API结果过滤器
同个API在不同使用的场景中，默认的返回结构不一定能够满足调用者实际的需求，因此我们支持通过配置过滤器的方式，使用户可以对API返回的原始结构进行灵活的转换，减少用户API对接及二次开发的成本。本文为您介绍如何使用API结果过滤器。...
API结果过滤器
同个API在不同使用的场景中，默认的返回结构不一定能够满足调用者实际的需求，因此我们支持通过配置过滤器的方式，使用户可以对API返回的原始结构进行灵活的转换，减少用户API对接及二次开发的成本。使用方式 正确配置过滤器并生效后，会对...
API结果过滤器
同个API在不同使用的场景中，默认的返回结构不一定能够满足调用者实际的需求，因此我们支持通过配置过滤器的方式，使用户可以对API返回的原始结构进行灵活的转换，减少用户API对接及二次开发的成本。使用方式 正确配置过滤器并生效后，会对...
影子表同步
数据管理DMS 的影子表同步功能支持根据源表的表结构自动在当前库中创建影子表（新的数据表名是通过在源表名上增加前缀或后缀的方式生成的），支持周期性同步，适用于全链路压测等场景。前提条件 支持的数据库类型如下：MySQL：RDS MySQL、...
批量智能一键成片
功能说明 一键成片类型 概述 优势 费用 方式① 脚本化自动成片 如果您有确定的成片结构预期和对应的素材储备，适合使用脚本化自动成片。典型场景包括：电商、本地生活营销短视频批量生成。如上面左①图所示，视频预期介绍哈尔滨旅游，视频...
变更日志
增加MVC架构的支持。其他一些调整。[0.8.4-stable.1.11.0-rc1]Fixed 修复批量标记缺少上下文的问题。服务方法对应的接口缺少注解时跳过处理，不卡主用户。[0.8.3-stable.1.11.0-rc1]Fixed 修复继承自平台基础类型导致上报失败问题。修复...
基本概念
表结构模板 表结构模板是多个数据表共同遵循的表结构。保护开关 启用安全配置的开关。分组键 在模型训练中参与条件分割的字段。服务集成 服务集成是当模型发布完成后，在模型服务需求方的节点中，开放服务调用接口的过程。用户可定义接口的...
新建Flink SQL类型的公共节点
当选择星号（*）时，代表数据结构为任意结构，用于对未创建数据模型的表进行操作。节点输出 输出标识 输出变量的标识，用户可根据前面编写的 脚本内容 来自定义，例如：Output。数据结构 云计算资源类型 输出数据的数据源类型，在下拉列表...
新建Flink Vvp SQL类型的公共节点
当选择星号（*）时，代表数据结构为任意结构，用于对未创建数据模型的表进行操作。节点输出 输出标识 输出变量的标识，用户可根据前面编写的 脚本内容 来自定义，例如：Output。数据结构 云计算资源类型 输出数据的数据源类型。输出数据...
- 产品推荐
- 这些文档可能帮助您