简介
系统数据模块包含系统内置的数据实体，详细说明如下：数据实体 说明 系统用户 表示系统用户的实体，包含用户名称、密码、显示名、状态、备注、最近登录时间等字段。系统角色 表示系统用户所属角色的实体，包含角色名称、角色ID、角色类型等...
功能简介
系统提供目标端自动建表、源端目标端字段自动映射、批量创建同步任务和引用数据模块进行同步任务配置等多种便捷同步任务创建能力，帮助用户更便捷的完成数据同步配置。在完成数据同步配置后，数据同步模块可对数据同步任务的执行和运行情况...
引用模块管理
多端低代码开发平台魔笔支持在应用内引用模块，实现物料更新、共享和重用。应用内默认引用系统模块，可手动引用自定义...移除引用模块 说明 系统数据模块不支持被移除。在指定模块的右侧，单击。二次确认后，在弹出的提示框中，单击 确定。
数据同步
系统提供目标端自动建表、源端目标端字段自动映射、批量创建同步任务和引用数据模块进行同步任务配置等多种便捷同步任务创建能力，帮助用户更便捷的完成数据同步配置。在完成数据同步配置后，数据同步模块可对数据同步任务的执行和运行情况...
功能简介
系统提供目标端自动建表、源端目标端字段自动映射、批量创建同步任务和引用数据模块进行同步任务配置等多种便捷同步任务创建能力，帮助用户更便捷的完成数据同步配置。在完成数据同步配置后，数据同步模块可对数据同步任务的执行和运行情况...
全局级模块权限控制
背景信息 进入DataWorks功能模块界面后，当顶部菜单栏不显示DataWorks工作空间名称时，此模块为”全局级别模块”，例如 数据地图。针对此类模块，DataWorks为您提供了租户级角色等身份，您可按照职能为RAM用户分配租户角色。DataWorks预设...
添加ClickHouse数据源
网络 数据源可选的网络类型。说明 当前仅支持外网访问。域名 连接数据库的地址。重要 该地址是DataV服务器能够通过公网或阿里云部分Region内网访问您数据库的域名或IP地址。端口 数据库设置的端口。用户名 登录数据库的用户名。密码 登录...
Napatech案例
业务挑战 随着网络数据流量的爆增以及业务可用性要求的不断提升，Napatech公司的用户可以将数据包采集和分析的能力提升至200G，然而上层软件产生的流量数据包元数据也爆增，给后台数据库（比如开源的HBase/ElasticSearch）的存储和索引能力...
内置时空数据引擎Ganos
提供拓扑网络路径分析和大规模点云存储与查询支持 Ganos所包含的几何网络数据库引擎支持Node-Edge拓扑网络构建，支持Turn、U-Turn等概念，支持TSP（旅行商问题）、KSP（多条线路最短路径）、TRSP（转向限制的最短路径）等一系列路径规划...
审计经典网络数据库实例
如果需要审计经典网络数据库实例，您需要先通过ClassicLink功能实现经典网络的ECS与VPC中的数据库审计系统互通，并在经典网络的ECS上部署Agent程序。前提条件 VPC中启用ClassicLink时，需要满足限定条件，具体请参见ClassicLink概述的 使用...
添加ClickHouse数据源
网络 数据源可选的网络类型。域名 连接数据库的地址。重要 该地址是DataV服务器能够通过公网或阿里云部分Region内网访问您数据库的域名或IP地址。端口 数据库设置的端口。用户名 登录数据库的用户名。密码 登录数据库的密码。数据库 单击 ...
配置回流数据源
配置从微信、社交互动模块、会员中台模块 回流到Quick Audience的数据的存储位置。操作步骤：单击页面右上角，选择 组织管理>接口管理。回流数据源设置：单击 编辑，设置回流数据源，然后单击 保存。微信回流数据源：用于存储回流的微信...
概述
VDS在共享存储（PolarStore）上维护了两个数据模块，分别是CAS Block和Polar Cluster Registry（简称PCR）。CAS Block是PolarStore提供的支持Compare-And-Swap（简称CAS）操作的原子数据块。VDS基于CAS实现了分布式租约锁，并在数据块中...
营销页面搭建
数据配置：针对每个模块进行数据配置，不同模块配置项会有所不同。视觉配置：可以设计模块间的间距（上、下）以及背景色（16进制）及是否开启通栏（是：撑满屏幕，否：固定宽度）。删除：即删除当前模块。预览 页面搭建完成后，可通过预览...
DataWorks OpenAPI概述
DataWorks为您提供了涵盖租户、元数据、数据开发、运维中心、数据集成等多个功能模块的OpenAPI接口，不同API的QPS限制、每日调用次数上限和支持使用的DataWorks服务版本存在差异。您可参考本文了解各OpenAPI支持的DataWorks版本及地域、...
查看同步链路状态和性能
功能 说明 增量同步链路拓扑 增量同步链路拓扑主要展示链路中各模块间的数据传输情况和网络延迟信息，模块包含：源库、DTS采集模块、DTS缓存模块、DTS写入模块、目标库。相关参数解释如下：BPS：链路中模块间每秒传输的数据量，单位为MB/s...
监控任务性能
功能 说明 增量同步链路拓扑 增量同步链路主要展示链路中各模块间的数据传输情况和网络延迟信息，模块包含：源库、DTS采集模块、DTS缓存模块、DTS写入模块、目标库。相关参数解释如下：BPS：链路中模块间每秒传输的数据量，单位为MB/s。RPS...
查看增量迁移链路状态和性能
功能 说明 增量迁移链路拓扑 增量迁移链路展示链路中各模块间的数据传输情况和网络延迟信息，模块包含：源库、DTS采集模块、DTS缓存模块、DTS写入模块、目标库。相关参数解释如下：BPS：链路中模块间每秒传输的数据量，单位为MB/s。RPS：...
无侵入观测概述
抓取：Kernel Hook模块会根据KProbe的定义，拦截网络数据。用于拦截的KProbe内核函数包括connect、accept、write等。预处理：预处理模块会根据用户态配置进行数据的拦截、丢弃以及数据协议的推断，只有符合需求的数据才会被传递给...
常见错误码及排查方法
CriticalAnyAllException:capture-dstore:DTS-51009:Failed to fetch records from dstore TimeoutException:Failed to get offsets by times in 120000 ms 原因：网络抖动等原因导致当前数据写入模块连接缓存模块超时。解决方法：您可以...
架构模块介绍
本文介绍 SOFARPC 的架构模块。工程架构 SOFARPC 架构如下所示：SOFARPC 从下到上...core transport-网络传输实现模块 TCP 连接的建立、数据分包粘包处理、请求响应对象分发等。core registry-注册中心实现模块 实现注册中心，例如 zk。core
连接PostgreSQL实例
购买RDS PostgreSQL实例并完成必要配置（创建账号、设置白名单）后，您就可以通过数据管理DMS、pgAdmin客户端、PostgreSQL命令行工具或应用...A：您可以为函数安装第三方依赖，使用内置模块获取RDS数据，详情请参见 为函数安装第三方依赖。
迁移 TiDB 数据库的数据至 OceanBase 数据库 MySQL ...
TiCDC 是 TiDB 数据库的增量数据同步工具，通过 PD 集群（TiDB 集群的调度模块，通常由 3 个 PD 节点构成）来实现高可用。TiKV Server 是 TiDB 集群中的 TiKV 节点，它会以变更日志的方式主动发送变更数据至 TiCDC 集群。TiCDC 工具会通过...
按应用关联
说明 工作组若有创建数据标准、数据源和全局变量，不区分创建方式，默认拉取这3个模块的全量数据导入导出。关联项说明 关联项 说明 应用 对应数据API上线时关联的应用。说明 全量新建、按应用新建、按线上API关联新建时获取到该关联项。...
按线上API关联
数据标准 对应数据标准模块中的数据元、数据字典、命名标准、质量函数。数据源 对应系统设置模块中添加的云计算资源。说明 数据源是拉取当前工作组下所有的云计算资源产生，所以此处展示的数据应与工作组下的云计算资源数量、信息完全一致...
按逻辑表关联
工作组若有创建数据标准、数据源和全局变量，不区分创建方式，默认拉取这3个模块的全量数据导入导出。关联项说明 关联项 说明 场景节点 对应生产场景包含的场景节点。说明 需在数据开发模块创建场景节点，且该场景节点被场景引用。场景 ...
查看表资产详情
已在数据标准模块中创建质量校验函数、数据字典和数据元。已在质量评估模块中创建质量检查计划任务。背景信息 将数据建模中创建的数据表进行编目及公开后，可在数据资产中心查看资产详情。操作步骤 登录 数据资源平台控制台。在页面左上角...
查看表资产详情
已在数据标准模块中创建质量校验函数、数据字典和数据元。已在质量评估模块中创建质量检查计划任务。背景信息 将数据建模中创建的数据表进行编目及公开后，可在数据资产中心查看资产详情。操作步骤 登录企业数据智能平台。在页面左上角，...
入门概述
设计数据模型：在数据建模模块中创建逻辑表，并物理化到数据库，具体操作，请参见 设计数据模型。添加数据节点：在数据开发模块中创建节点，并在物理表中插入对应数据，具体操作，请参见 新建公共节点。查询数据：在数据查询模块中预览插入...
附录：数据地图权限管控能力总览
DataWorks默认租户成员可进入数据地图模块，在数据地图模块中，默认可查看已接入数据地图的项目元数据，您可通过当前文档针对以上场景进行不同粒度的访问控制。数据地图权限管控介绍 数据地图支持的 功能模块、项目、表 这三个级别的元数据...
概述
为了及时告知您任务运行过程中的异常情况，Dataphin支持对离线计算、实时计算、资产质量、数据服务模块的监控报警规则进行告警。任务运行过程中，如果触发了监控告警规则，告警中心会给您发送告警消息，便于您及时发现并处理异常。告警中心...
告警中心概述
为了及时告知您任务运行过程中的异常情况，Dataphin支持对离线计算、实时计算、资产质量、数据服务模块的监控报警规则进行告警。任务运行过程中，如果触发了监控告警规则，告警中心会给您发送告警消息，便于您及时发现并处理异常。告警中心...
查看指标资产详情
前提条件 已在数据建模模块关联指标、维度或度量，具体操作，请参见 配置逻辑表关联字段标准。已在运营模块中编目和公开指标资产，具体操作，请参见 配置指标资产目录 和 公开与隐藏指标资产。背景信息 将数据标准模块中创建的指标进行编目...
查看指标资产详情
前提条件 已在数据建模模块关联指标、维度或度量，具体操作，请参见 配置逻辑表关联字段标准。已在运营模块中编目和公开指标资产，具体操作，请参见 配置指标资产目录 和 公开与隐藏指标资产。背景信息 将数据标准模块中创建的指标进行编目...
ETL工作流快速体验
GitHub十大热门编程语言 DataWorks MaxCompute 函数计算 OSS 数据集成 数据开发 基础版 基于GitHub Archive公开数据集，通过DataWorks 数据集成 模块获取过去1小时GitHub中提交次数最多的代码语言数据，在DataStudio 数据开发 模块通过函数...
按线上场景关联
工作组若有创建数据标准、数据源和全局变量，不区分创建方式，默认拉取这3个模块的全量数据导入导出。关联项说明 关联项 说明 场景 对应数据开发生产状态的场景。说明 需在数据开发模块部署及运行生产场景成功。场景节点 对应生产场景包含...
确定需求
数据功能模块 A公司电商营销管理 商品管理 Y 用户管理 Y 购买流程 Y 交易订单 Y 用户反馈 Y 说明 Y代表包含该数据功能模块，N代表不包含。本教程中，假设用户是电商营销部门的营销数据分析师。数据需求为最近一天某个类目（例如，厨具）...
确定需求
数据功能模块 A公司电商营销管理 商品管理 Y 用户管理 Y 购买流程 Y 交易订单 Y 用户反馈 Y 说明 Y代表包含该数据功能模块，N代表不包含。本教程中，假设用户是电商营销部门的营销数据分析师。数据需求为最近一天某个类目（例如，厨具）...
数据源管理常见问题
创建完成后，在画布编辑器内添加一个组件，在组件右侧 数据 面板中的 设置数据源 模块，单击 数据源类型，选择已经配置好的数据库数据源。说明 如果无法使用外网或不想使用外网访问时，可以按如下步骤操作：在DataV控制台，选择 我的数据>...
数据源管理常见问题
创建完成后，在画布编辑器内添加一个组件，在组件右侧 数据 面板中的 设置数据源 模块，单击 数据源类型，选择已经配置好的数据库数据源。说明 如果无法使用外网或不想使用外网访问时，可以按如下步骤操作：在DataV控制台，选择 我的数据>...
- 产品推荐
- 这些文档可能帮助您