元数据仓库共享模型标准访问方式
您可以通过元仓共享模型通信表以检查最新数据是否产出，每天元仓共享模型产出后，将更新通信表数据。通信表说明如下：data_share_finish：基础元数据模型通信表。data_security_finish:数据安全模块共享模型通信表。data_service_finish:...
Dataphin管道任务表分区如何配置当天时间
问题描述 Dataphin管道任务表分区配置当天时间的方法。解决方案 需要在调度配置页面配置“参数配置”，并且表分区中使用配置的变量，在运维环境中执行。适用于 Dataphin 版本v3.6.2 运维环境
集成任务提交说明
检查项 描述 配置检查 检查集成管道的ID配置、集成管道名称配置、集成管道FileId配置、集成管道对象类型配置、集成管道调度配置、集成管道配置是否正确。参数配置 检查集成管道参数的当前实际值是否正确。权限检查 检查集成管道的对象是否...
集成任务提交说明
检查项 描述 配置检查 检查集成管道的ID配置、集成管道名称配置、集成管道FileId配置、集成管道对象类型配置、集成管道调度配置、集成管道配置是否正确。参数配置 检查集成管道参数的当前实际值是否正确。权限检查 检查集成管道的对象是否...
基于MQTT Topic通信
背景信息 Topic是设备与物联网平台之间通信的管道，设备可通过Topic实现消息的发送和接收。Topic格式必须以/进行分层，区分每个类目。自定义Topic的前三个类目已经规定好，第一个代表产品标识 ProductKey，第二个${deviceName} 通配...
Dataphin管道任务源表的时间字段有值，但是同步过去是...
问题描述 Dataphin管道任务源表的时间字段有值，但是同步过去是空值，其他字段都是正常。问题原因 管道任务源表字段配置错误，导致最终目标表映射到了空字段。解决方案 修改管道任务源表字段配置即可。适用于 Dataphin
附录 2 等级保护简介
或者对国家安全造成严重损害 非常重要系统 第五级 信息系统受到破坏后，会对 国家安全造成特别严重损害 极度重要系统《网络安全等级保护基本要求》重点解读 网络与通信安全 表 1.安全要求 类别 安全要求 网络架构 应划分不同的网络区域，并...
Dataphin管道任务中对上游数据解密后进行同步，报错...
问题描述 Dataphin输入组件中来源表的数据在上游通过UDF函数进行了加密，管道任务通过解密组件对数据进行解密之后再同步到目标表。管道任务运行报错“解密数据异常,请检查配置！java.lang.Exception:AES decrypt error”。完整的异常如下：...
Dataphin管道任务源表字段少于目标表字段，应该如何...
问题描述 Dataphin管道任务源表字段少于目标表字段，应该如何应对？解决方案 可以添加字段计算组件，表达式设置为null，来补全源表字段。适用于 Dataphin
Dataphin管道任务源表SQL Server没有获取到demical的...
问题描述 Dataphin管道任务源表SQL Server没有获取到demical的精度。解决方案 Dataphin管道任务的输入组件暂时不支持decimal精度获取，但不影响实际任务同步，也不影响精度。适用于 Dataphin 适用于V3.7.1版本及其以下版本
Dataphin管道任务将逻辑表数据集成到业务数据库中时，...
概述 本文主要介绍Dataphin管道任务将逻辑表数据集成到业务数据库中时，调度配置中如何解析逻辑表任务为上游依赖。详细信息 由于Dataphin3.3版本开始，管道任务中没有自动解析的按钮，很多用户将逻辑表数据通过管道任务同步到其他业务数据...
Dataphin中小时调度的任务可以依赖天调度的任务吗？
比如逻辑表上游是管道任务，管道任务给逻辑表的来源主表中同步数据，如果该管道任务是天调度的，逻辑表是小时调度的，那么逻辑表每个小时跑出来的数据都一样，这样只是在浪费计算资源，实际没有任何意义。对于该情况，建议管道任务也是小时...
Dataphin中管道任务无法获取SAP HANA的表
问题描述 在Dataphin中管道任务无法获取SAP HANA的表，在管道任务中没有任何表。在管理工具中相同账号可以看到有表：问题原因 JDBC配置有误导致该问题，JDBC中缺少currentSchema等信息。解决方案 数据源jdbc需要按照如下格式设置：jdbc:sap...
通过单条管道创建集成任务
离线单条管道即处理离线集成任务的一条管道脚本，可以将一个或多个来源数据源的单表或多表同步到一个或多个目标数据源中。本文为您介绍如何通过离线单条管道配置集成任务。前提条件 已完成数据源配置。您需要在配置集成任务前，配置好您...
通过单条管道创建集成任务
离线单条管道即处理离线集成任务的一条管道脚本，可以将一个或多个来源数据源的单表或多表同步到一个或多个目标数据源中。本文为您介绍如何通过离线单条管道配置集成任务。前提条件 已完成数据源配置。您需要在配置集成任务前，配置好您...
通过脚本模式创建集成任务
表重复性检查：包括检查管道中的来源表是否在已提交或已发布的任务中已作为来源表，以及管道中的目标表是否在已提交或已发布的任务中已作为来目标表。若提交的集成任务中，存在以上检查项的告警或错误信息。建议您根据提示信息解决告警或...
通过脚本模式创建集成任务
表重复性检查：包括检查管道中的来源表是否在已提交或已发布的任务中已作为来源表，以及管道中的目标表是否在已提交或已发布的任务中已作为目标表。若提交的集成任务中，存在以上检查项的告警或错误信息。建议您根据提示信息解决告警或错误...
大数据上云及巡检服务内容说明
4.根据甲方验收反馈确保最终交付物符合验收标准 方案验证阶段 1.根据作业兼容性分析、sql改造建议，进行1个示例作业改造，并进行业务验证 2.验证数据迁移方案 1.协助并指导甲方开通或购买云资源以及基础架构搭建与配置 2.提供作业改造过程...
QPS限制
通信监测 API 单用户QPS限制 DescribeCallList 10次/秒 DescribeCall 10次/秒 DescribeQoeMetricData 20次/秒 DescribePubUserListBySubUser 10次/秒 DescribeEndPointMetricData 20次/秒 DescribeEndPointEventList 10次/秒 表 2....
Dataphin管道任务写入ClickHouse表，发现写入分区的...
概述 本文主要介绍管道任务写入ClickHouse表，发现写入分区的数据量少于ClickHouse表分区总量的原因。详细信息 Dataphin管道任务写入ClickHouse表，发现写入分区的数据量少于ClickHouse表分区总量，是什么原因？分析如下：出现这种写入量...
大数据实时计算性能调优服务
稳定性验收标准：作业在源表数据量无异常增长规律、产品无bug的情况下未出现反压，未出现报错，未出现作业业务延迟，在当前状态下稳定运行一周。准确性验收标准：作业在稳定性标准的情况下，结果准确性符合业务逻辑。作业稳定性验收通过，...
数据中台建设架构咨询服务内容说明
验收标准 工作验收标准满足以下条件即可启动项目验收：阿里云向客户提交以下项目报告：项目阶段 交付物 交付物类型 业务调研《业务调研报告》文档 方案设计《数据咨询设计方案》文档 上述项目报告提交后，客户应在5个工作日内确认方案，如...
通过整库迁移配置集成任务
相对于离线单条管道，离线整库迁移可以批量配置离线管道，一次性完成数据库内多张数据表的同步文件的配置。操作步骤 在Dataphin首页，单击顶部菜单栏的 研发。默认进入数据 开发 页面。按照下图操作指引，进入 新建整库迁移 页面。在 新建...
Dataphin管道任务给MaxCompute表中写数据，如何执行预...
概述 本文主要介绍Dataphin管道任务给MaxCompute表中写数据，执行预执行SQL清空分区数据的方法。详细信息 Dataphin管道任务给MaxCompute表中写数据，如何执行预执行SQL清空分区数据呢？方法如下：如果MaxCompute表获取数据的方式只有该管道...
迁云咨询服务
8.验收标准 工作验收标准满足以下条件即可启动项目验收：阿里云向客户提交以下项目报告：序号 文档名称 1 验收 交付物《XXX项目迁云启动会议报告》2《XXX项目迁云调研报告》3《XXX项目迁云咨询报告》上述项目报告提交后，客户应在5个工作日...
通过整库迁移配置集成任务
相对于离线单条管道，离线整库迁移可以批量配置离线管道，一次性完成数据库内多张数据表的同步文件的配置。操作步骤 在Dataphin首页，单击顶部菜单栏的 研发。默认进入数据 开发 页面。按照下图操作指引，进入 新建整库迁移 页面。在 新建...
健康检查服务内容说明
验收标准 工作验收标准满足以下条件即可启动项目验收：阿里云向客户提交以下项目报告：序号 验收交付物-文档名称 1《XXXX架构健康检查启动会议报告》2《XXXX架构健康检查方案》3《XXXX架构健康检查报告》上述项目报告提交后，客户应在5个...
云化咨询服务内容说明
8.验收标准 工作验收标准满足以下条件即可启动项目验收：阿里云向客户提交以下项目报告：项目阶段 交付内容 交付物 交付物类型 业务调研 业务调研与需求分析《业务调研报告》文档 方案设计 A．数字化转型方案《顶层设计咨询方案》《总体...
基本概念
自定义存储表：由数据管道或SQL分析预处理后，输出生成的数据存储表。SQL分析任务 通过编写SQL语句，将存储表中的数据作为查询对象，配置执行查询的策略，调度产出所需的数据。物标签 指物联网平台中全部产品所拥有的产品或设备属性、标签...
部署要求
配置 云盒单柜内包括两台架顶式TOR（Top of Rack），每台TOR上的业务流量都会分别上连云盒上联交换机，每个业务的互联链路为4条，具体配置要求如下表所示。用户侧交换机 云盒内交换机 链路类型 上联端口 光模块（单模）互联IP地址段（/30段...
Dataphin管道任务MongoDB源表的嵌套内层字段数据，...
问题描述 Dataphin管道任务MongoDB源表的嵌套内层字段数据，无法同步到目标表。问题原因 目前Dataphin不支持嵌套的写法的，无法拿到嵌套内容。解决方案 产品设计如此，不是问题。适用于 Dataphin 版本V3.2
迁云服务
迁云咨询服务验收计划 编号 验收里程碑 验收内容 验收完成标志1 1《云上架构设计方案》与《迁移技术方案》设计与验证完成《云上架构设计方案》《迁移技术方案》甲方在线确认验收方案 迁云实施服务验收计划 编号 验收里程碑 验收内容 验收...
迁云服务内容说明
5.服务流程 迁云服务基础包流程：售前交流⟶官网下单⟶项目准备⟶现状调研⟶方案设计与验证⟶方案验收⟶项目验收 迁云服务标准包流程：售前交流⟶官网下单⟶项目准备⟶现状调研⟶方案设计与验证⟶实施方案设计⟶实施支持⟶项目验收 迁...
金融行业系统设计与咨询服务
验收计划 根据《7.1验收分项清单》所列示各阶段的交付内容与交付物，本项目将按照以下验收计划进行项目验收，甲方同意根据此验收计划对乙方的交付物进行验收。金融行业业务系统咨询与设计服务验收计划 编号 验收里程碑 验收内容 验收完成...
容量规划服务内容说明
提供基于覆盖生产环境全链路压测的链路设计方案，如影子表/库、测试Mock点、限流降级方案等。测试验证 测试联调：提供生产环境全链路压测依赖的阿里云探针的部署、调试等工作。测试验证：完成一轮小流量测试验证性能测试验证。性能分析与...
阿里云Landing Zone服务内容说明
2.1.Landing Zone基础版服务范围 Landing Zone基础版内容如下：Landing Zone调研与评估 以调研表、访谈等多种方式快速调研和分析应用技术栈现状，企业实施云化IT治理可行性评估。确定Landing Zone流程。基于评估的结果，给出Landing Zone...
云原生可观测服务内容说明
具体分工界面见下表：服务类型 阶段 任务名称 任务明细 客户 阿里云 云原生可观测服务 现状调研 业务目标调研 1、着重分析用户的技术架构和业务目标，收集当前的技术信息，运维体系，监控现状和目标。2、通过调研明确现状以及监控需求，...
Dataphin管道任务输入组件是否能配置逻辑表
概述 本文主要介绍Dataphin管道任务输入组件是否能配置逻辑表。详细信息 管道任务可以配置逻辑表。在组件库中选择LogicalTable组件。适用于 Dataphin
Dataphin集成任务中多表同步是如何同步的
产品名称 Dataphin 产品模块 集成任务，多表同步 概述 本文为您介绍Dataphin管道集成任务中源表选择多表同步是怎样同步的 问题描述 集成任务同步数据中源表选择了多表同步，为什么右边的界面只显示了部分表的字段 问题原因 不清楚选择多表...
Dataphin管道任务抽取rdbms类数据库数据，切分键使用...
产品名称 Dataphin 产品模块 数据集成 概述 管道任务中来源表数据总数和管道任务同步的数据总数不一致。但是去掉切分键后，再运行任务数据量一致 问题描述 客户管道任务抽取SqlServer数据时，查询来源表数据总数和管道任务同步的数据总数不...
- 产品推荐
- 这些文档可能帮助您