离线模式依赖文件配置
若您的实时任务的离线模式运行需要依赖外部资源文件，例如文本文件、Python文件、Jar文件等，您可以在Dataphin上传对应资源文件后，将所上传的资源文件添加到任务的依赖文件，使任务能够正常运行。本文将为您介绍如何配置任务离线模式的...
配置离线管道调度依赖
若您需要修改，您可以单击依赖列表 编辑单个依赖的 依赖周期 和 依赖策略。依赖周期：上游任务实例的定时运行时间（起调时间）区间范围。一般情况下为当日，即区间范围为当日[00:00~24:00)。依赖策略：某些依赖周期内，可能存在多个实例，...
依赖节点
当计算节点的运行依赖某些其他节点时，系统支持在场景运行开始时，设置节点的依赖节点。本文介绍依赖节点的配置参数说明。依赖配置 依赖节点 关键参数说明如下：参数 说明 依赖类型 自定义节点依赖：依赖所属工作区：可选择依赖所属工作区...
PythonArtifact
https://oss/bucket/addition.py additionalPythonLibraries array 依赖的 Python lib 文件。string Python lib 文件的 URL 路径。https://oss/bucket/additionlib.py additionalPythonArchives array 依赖的 Python archives 文件。string...
依赖节点
当计算节点的运行依赖某些其他节点时，系统支持在场景运行开始时，设置节点的依赖节点。本文介绍依赖节点的配置参数说明。依赖配置 依赖节点 关键参数说明如下：参数 说明 依赖类型 自定义节点依赖：依赖所属工作区：可选择依赖所属工作区...
RunAfter
名称 类型 描述 示例值 object 任务依赖，必须在依赖结束后执行。name string 执行依赖的任务代称。task-1
配置离线管道调度依赖
您可查看解析出的依赖表详情或进行编辑和删除操作。更多信息，请参见 自动解析流程。说明 自动解析出的输入表如果存在多个产出任务,默认将所有产出任务作为上游依赖。解析出的所有依赖表，依赖周期默认为 本周期。添加根节点 若任务无对应...
如何解决关于表结构的报错？
报错：Table ' XXX' doesn't exist 可能原因：创建VIEW等对象时，依赖的对象不存在。解决方法：确认源库中是否存在依赖的对象。存在：将依赖的对象，添加为待同步或迁移对象。不存在：可以选择忽略对象。报错：Unknown column 'xx.xxx' in ...
包含离线同步节点的业务流程，如何配置调度依赖
DataWorks的离线同步节点不支持通过自动...提交sql_1节点时，系统检测到sql_1有 doctest.table_1 这个上游依赖，但是因为这条上游依赖没有关联到节点ID，系统无法通过这条依赖找到对应的上游节点，出现报错，提示依赖的父节点输出名不存在。
pg_depend
目录 pg_depend 记录数据库对象之间的依赖关系。这些信息允许 DROP 命令查找必须被 DROP CASCADE 删除的其他对象，或者在 DROP RESTRICT 情况下阻止删除。列名称 列类型 描述 classid oid 依赖对象所在的系统目录OID。objid oid 指定依赖...
OpenAPI
调用OpenAPI报错：One file could not have more than 10 dependent cloud uuids 问题描述：调用OpenAPI新建（CreateFile）或更新（UpdateFile）节点，若跨周期依赖的节点数超过10个，即当DependentType值为 USER_DEFINE 时，...
DEPENDENT
DEPENDENT节点是指用于进行依赖检查的节点。例如，如果A流程依赖于昨天成功执行的B流程...等待：依赖的上游工作流失败后，当前任务不会立即失败，而是保持等待状态，继续监视上游工作流的状态变化。前置任务 设置当前任务的前置（上游）任务。
添加 SDK 依赖
本节主要是介绍产品 SDK 以及核心库 SDK 的依赖方式。云产品的原版 SDK 依赖信息 以云产品 ECS 的原版 SDK 的为例，引入产品 SDK 依赖的方式如下：使用.NET CLI 的方式，可以通过-version 指定版本。dotnet add package aliyun-...
各类型节点自动解析场景
SELECT 当节点代码中出现此命令时，会自动为节点添加一条依赖的上游节点配置内容。为节点自动添加的依赖的上游节点命名规则为 project_name.table_name。其中：project_name：SELECT语句中，from命令后的表所在节点的项目名称。table_name...
容器镜像服务镜像扫描功能扫描结果排查
扫描漏洞结果中提示Java应用依赖库版本存在风险问题 问题原因一：镜像扫描功能在扫描Java应用镜像时，会尝试扫描Java应用依赖库，当应用依赖的库包含存在风险问题的库版本时，会在漏洞扫描结果中进行提示。解决方法：请检查应用通过Maven等...
调度周期：日调度
场景：天任务对小时加工数据进行汇总 天任务依赖小时任务场景下，若上游小时任务调度参数配置存在偏移，导致小时任务每日第一个周期产出昨天最后一小时分区数据，天任务实际需要依赖的小时实例，变为小时任务当天第一个实例。该场景下，您...
添加 SDK 依赖
本节主要是介绍产品 SDK 以及核心库 SDK 的依赖方式。云产品的原版 SDK 依赖信息 以云产品 ECS 的原版 SDK 的为例，建议通过 Maven 依赖的方式进行引入，下面是其 Maven 依赖信息：!原版 SDK-><dependency><groupId>...
函数计算的运行环境中所依赖的包如何自动安装？
函数计算 要求您上传的代码包中包含了所有的依赖。不同的语言包管理机制不同，例如在Node.js中，您可以使用npm将依赖的包安装到代码目录中并打包上传。函数计算 支持通过控制台和Serverless Devs安装第三方依赖。具体信息，请参见 为函数...
Spark应用开发介绍
files 否"files":["oss:/<testBucketName>/path/to/files_name1","oss:/<testBucketName>/path/to/files_name2"]Spark应用依赖的文件资源，文件会被下载到Driver和Executor进程的当前执行目录下。支持配置文件别名，例如 oss:/...
强弱依赖治理最佳实践
本文以对一个部署在Kubernetes上的微...利用强弱依赖治理梳理出应用的依赖关系的强弱，能够提前发现风险、发现不合理的依赖关系，进而提升应用的高可用能力。演示操作 以下通过3个视频，演示下强弱依赖治理的整个过程。准备工作 操作步骤 总结
安装第三方插件
说明 EMR集群中，通常普通的插件都直接放在/opt/apps/FLUME/flume-current/lib 目录中，如果需要上传有复杂依赖的插件，特别是有native依赖的插件，请创建/opt/apps/FLUME/flume-current/plugins.d 目录，并按照方式三部署。
微服务强弱依赖治理
在应用强弱依赖治理的基础上，微服务强弱依赖治理功能，通过接入MSE，可分析出应用所依赖的Dubbo、Spring Cloud服务，并能够快速的发起方法级别的故障注入，帮助您快速分析出应用与所依赖的各种方法之间的强弱依赖关系。本文介绍如何进行微...
GetProductQuotaDimension-查询目标云产品支持的配额...
接口说明 本文将提供一个示例，查询块存储（disk）的配额维度 zoneId 依赖的配额维度 regionId 的详情。返回结果显示如下：配额维度 Value 的详情 cn-hangzhou-b 、cn-hangzhou-e 、cn-hangzhou-f 、cn-hangzhou-g 、cn-hangzhou-h 、...
Maven开发常见问题
无法下载JAR包 如果出现本地开发环境无法找到需要依赖的JAR包，请按以下步骤排查解决。确认 pom.xml 文件中是否已经添加了Maven依赖。例如：<dependency><groupId>...
配置同周期调度依赖
修改自动解析的依赖关系 当自动解析的依赖关系不符合预期，或存在 不支持调度依赖的场景（非周期性调度产出数据的表）需手动删除依赖关系时，您可参考以下内容修改自动解析的依赖关系。场景及方式 描述 操作及结果示例 开启自动解析时，...
JarArtifact
名称 类型 描述 示例值 object 本数据结构代表 JAR ...start from main additionalDependencies array 附加依赖的 URL 全路径，可以将 JAR 需要使用的其他依赖在这里填写。string 附加依赖文件的 URL 全路径。https://oss/bucket/addition.jar
云产品依赖与授权：Designer
依赖的其他云产品：MaxCompute Designer中提供上百种基于MaxCompute框架实现的自研算法，如果需要使用相关算法您就需要开通MaxCompute，您可以在使用过程中遇到提示按需开通。细分场景 场景说明 操作引导链接 开通MaxCompute 建议您使用主...
必读：复杂依赖场景调度配置原则与示例
任务各周期是通过实例的方式执行，当上下游调度依赖的类型不同时，您可通过该文档了解上下游各周期实例如何挂载依赖，即上下游任务不同周期实例的依赖情况。背景信息 DataWorks中，调度任务会根据调度类型及周期数生成相应的周期实例（例如...
TaskExec
名称 类型 描述 示例值 object 任务执行。name string 当前任务代称。task-1 context Context 执行上下文。taskTemplate string 任务模板名称。serverless-runner runAfters array 执行顺序，必须在所有依赖...RunAfter 执行依赖的任务代称。
安装PHP SDK
命令执行完后，composer.json中依赖的版本如下所示：{"require":{"alibabacloud/ice-20201109":"^1.0"} } 说明 此处依赖的版本号仅供参考，以实际版本为准。获取最新依赖，请参见 服务端SDK。在代码中引入autoload.php文件。require_DIR_.'...
Java SDK日志库相关问题
您只需要在 Java SDK 的依赖中把 log4j2 的依赖声明移除即可，slf4j 就会自动在您的应用中寻找依赖的其他实现 slf4j 接口的日志库。groupId>...
原始诉求管理
一线业务人员通过原始诉求服务更好的收集、管理、用户在使用过程中的需求或问题并及时...在原始诉求录入后，支持添加依赖的需求进行跟进。支持依赖事项在列表的展示。支持在详情页面展示状态阶段的信息，帮助用户更好的了解并跟进需求进度。
Notebook
Q:如何配置依赖（jars,python packages）通过设置spark.jars 来设置依赖的jar包。jar包必须放在OSS上，多个jar包之间通过逗号分隔。通过设置spark.jars.packages 来设置依赖的package，格式：groupId:artifactId:version,多个package逗号...
开通并授权依赖的阿里云产品
本文介绍各场景下依赖的其他云产品列表及权限要求。了解授权对象：PAI服务账号、阿里云操作账号 在进行其他云产品开通和授权前，您可以先了解下需要授权的对象，有助于理解后续的授权操作。在使用PAI的过程中，您需要对两个对象进行授权。...
Dataphin逻辑表任务运行时间超长
在7月5号用户手动操作重跑上游依赖的逻辑表任务，当上游依赖的逻辑表任务运行成功后，当前逻辑表任务的物化节点7月5号才开始调度。逻辑表任务的生产链路截图如下：有些字段是7月3号运行，有些是7月5号运行的。上游逻辑表任务运行日志如下...
添加 SDK 依赖
本节主要是介绍产品 SDK 以及核心库 SDK 的依赖方式。云产品的升级版 SDK 依赖信息 以云产品 ECS 的升级版 SDK 的为例，引入产品 SDK 依赖的方式如下：使用.NET CLI 的方式，可以通过-version 指定版本。dotnet add package AlibabaCloud....
配置任务流依赖检查节点
任务编排的任务流依赖检查节点可实现任务流自依赖或跨任务流间依赖，依赖的目标对象可以是某个任务流或任务节点。本文介绍配置任务流依赖检查节点的步骤。应用场景 跨任务流依赖：任务流A需要在任务流B运行成功后才能执行。例如，每周一...
找不到任务实例如何处理
此类场景通常发生在创建好节点和业务流程后，后期修改了节点的依赖配置，删除了节点的 依赖的上游节点 配置结果后提交发布，导致节点成为孤立节点，无法生成对应的实例。生成实例方式 配置为 T+1次日生成 时：如果您提交发布的时间早于23：...
在函数中如何访问其他服务？
函数计算 只提供一个执行环境，在函数中访问其他服务例如OSS、MNS、数据库、自建的HTTP服务等，或者...您只需将相应的依赖库跟函数代码一起打包上传，就可以在函数中访问相应的服务。关于打包依赖的具体操作，请参见 为函数安装第三方依赖。
调度依赖场景规则与示例
任务各周期是通过实例的方式执行，当上下游调度依赖的类型不同时，您可参考本文了解上下游任务不同周期实例的依赖情况。背景信息 配置调度依赖前，建议您需先了解以下内容。Dataphin中，周期任务会根据调度周期生成相应的周期实例（例如，...
- 产品推荐
- 这些文档可能帮助您