基础术语
中文 释义 数据抓取延迟 数据抓取延迟是指数据同步服务抓取数据并写入产品存储的时间与数据实际写入至源数据库的时间差。数据抓取延迟仅在增量同步阶段有数值。数据写入延迟 数据写入延迟是指同步到目标实例的最新数据在源数据库执行的时间...
统计功能介绍
百度数据抓取：指百度搜索引擎的数据抓取访问您的网站的次数。Google数据抓取：指Google（谷歌）搜索引擎的数据抓取访问您的网站的次数。其他数据抓取：指其他搜索引擎（如搜搜、搜狗等）的数据抓取访问您的网站的次数。3.栏目统计 3.1 在...
查看同步任务详情
在任务详情页，您可以查看以下信息：数据来源信息：上游数据抓取延迟：数据同步服务抓取数据写入存储的时间与数据实际写入至源数据库的时间差。源端数据源配置信息：包括源端数据库主机、端口、名称，数据表及用户名等。数据去向信息：下游...
负载说明
测试结果：在Linux Kernel 3.2及以上的版本，DBGateway支持以PACKET_MMAP方式（在内核空间中分配一块内核缓冲区，然后用户空间程序调用mmap映射到用户空间）更快地抓取数据包。所以DBGateway支持全量SQL功能，在Linux Kernel 3.2及以上的...
产品架构
如果源数据库为RDS MySQL，那么数据抓取模块通过Binlog dump协议连接源库。日志回放模块：日志回放模块从日志读取模块中请求增量数据，并根据用户配置的同步对象进行数据过滤，然后在保证事务时序性及事务一致性的前提下，将日志记录同步到...
网络抓包
最大字节数 设置抓取数据包的最大字节数。如果数据包超过该字节数则停止抓包。需要填写最大不超过1048576的整数。时长（s）设置抓包的最长时间。单位：秒。企业版的时长为300秒；旗舰版的时长为600秒。协议 设置抓包的协议类型。可选项：...
常见问题
如何处理：参见 配置数据源（来源为PolarDB）的操作授予权限，或者检查PolarDB是否是主节点（读写库），目前实时任务不支持从PolarDB备节点抓取数据。实时任务，运行报错：...
常见问题
如何处理：参见 配置数据源（来源为PolarDB）的操作授予权限，或者检查PolarDB是否是主节点（读写库），目前实时任务不支持从PolarDB备节点抓取数据。实时任务，运行报错：...
数据传输与迁移概述
数据管理、数据开发、数据治理、数据地图、数据资产管理、需要查看数据样例数据。数据分析汇总与可视化展现。典型场景。类型 典型场景 数仓管理员对数据进行预览 DataWorks-数据分析、数据管理、数据开发调度（数据通道）。Kettle。商业...
配置自定义区域右下角组件数据
在 添加数据 对话框中，设置 自定义数据源名称（如折线图数据样例），并单击下方区域上传文件，完成文件上传后单击 确定 即可完成CSV文件数据源的创建。在 选择已有数据源 下拉框中找到上一步创建的 折线图数据样例 数据源，选中该数据源...
配置自定义区域右下角组件数据
在 添加数据 对话框中，设置 自定义数据源名称（如折线图数据样例），并单击下方区域上传文件，完成文件上传后单击 确定 即可完成CSV文件数据源的创建。在 选择已有数据源 下拉框中找到上一步创建的 折线图数据样例 数据源，选中该数据源...
全增量同步任务常见问题
如何处理：参见 PolarDB数据源 的操作授予权限，或者检查PolarDB是否是主节点（读写库），目前实时任务不支持从PolarDB备节点抓取数据。实时任务，运行报错：...
FineBI
您可以通过FineBI连接 云原生数据仓库AnalyticDB MySQL版，以可视化的形式帮助您进行多样数据管理，例如过滤、分组汇总、新增列、字段设置、排序等，极大的提升了数据整合的便利性和效率。前提条件 了解FineBI与 AnalyticDB MySQL版 之间的...
质量评估
质量评估通过用户自定义质量检查计划，根据用户设置的数据质量规则执行面向不同计算资源的质量检查任务，通过数据质量监控报告展现系统整体数据质量概览及多维度细分数据的质量情况。...支持下载失败数据的脏数据样例至本地进行查看。
通过上传本地数据新建数据集
上传完成后，在 输出字段配置 配置向导页面，查看数据样例，单击 下一步。在 基本信息配置 配置向导页面，配置基本信息。参数 说明 数据名称 自定义导入的数据名称。目标数据源 选择数据源，作为导入数据的存储库。说明 支持的资源类型有...
统一服务
三方API：将已有API注册到统一服务，通过注册API的相关信息，包括提供商URL、ContentType、请求方式、请求参数、返回参数、返回数据样例等信息将三方API注册到统一服务管理。数据上报API：将数据写入API，用户调用API时将数据上报到服务端...
功能简介
三方API：将已有API注册到统一服务，通过注册API的相关信息，包括提供商URL、ContentType、请求方式、请求参数、返回参数、返回数据样例等信息将三方API注册到统一服务管理。数据上报API：将数据写入API，用户调用API时将数据上报到服务端...
项目编辑器页面管理
在映射字段属性页面，单击属性下拉框，选择映射数据样例中某个已有的字段内容，配置映射属性字段，完成后单击 下一步 即可进入预览数据页面。在预览数据页面查看数据解析成功后，单击右下角 添加全部数据 即可添加所有新解析后的数据到当前...
项目编辑器页面管理
在映射字段属性页面，单击属性下拉框，选择映射数据样例中某个已有的字段内容，配置映射属性字段，完成后单击 下一步 即可进入预览数据页面。在预览数据页面查看数据解析成功后，单击右下角 添加全部数据 即可添加所有新解析后的数据到当前...
故障诊断
抓取性能数据 进入应用控制台，点击想查看的应用 实例 按钮，进入对应的实例即可查看 Node.js 性能平台提供的 抓取性能数据 功能，如下图所示：一般来说，如果涉及到内存泄漏的，可以抓取 堆快照，如果是 CPU 异常飙高的，可以抓取 CPU ...
如何排查移动网关调用错误
问题描述 前提条件：客户端已经正确接入移动网关组件（MGS）。MGS 控制台已经正确配置好后端应用 API 服务。问题表现：客户端通过代码发起 PRC 调用，但未能拿到预期结果。...网络包的抓取方法和工具：参见 如何抓取网络包。
网络异常时如何抓取数据包
如果-s为0，则表示自动选择合适的长度来抓取数据包。w：用于将抓包结果导出到文件，而不是在控制台进行分析和打印输出。i：用于指定需要监听的接口（网卡）。vvv：用于输出详细的交互数据。expression：是一个正则表达式，用于过滤报文，...
数据查询
前提条件 已根据快速入门教程完成加载样例数据操作，具体信息请参见 样例数据。操作步骤 登录企业数据智能平台。在页面左上角，选择>协同。在顶部菜单栏，单击 图标，选择 快速入门 工作组。在左侧导航栏，单击 图标。单击 物理表查询，...
数据下载配置
区域 描述 ① 列表区 为您展示 项目、数据下载范围、是否开启 样例数据审批、样例数据审批模板、是否开启 完整数据审批、完整数据审批模板 信息。② 操作区 您可以对项目执行 编辑 和 删除 操作。编辑：您可编辑审批配置的信息，详情请参见...
数据下载配置
区域 描述 ① 列表区 为您展示 项目、数据下载范围、是否开启 样例数据审批、样例数据审批模板、是否开启 完整数据审批、完整数据审批模板 信息。② 操作区 您可以对项目执行 编辑 和 删除 操作。编辑：您可编辑审批配置的信息，详情请参见...
数据同步
前提条件 已根据快速入门教程完成加载样例数据操作，具体信息请参见 样例数据。数据同步 登录企业数据智能平台。在页面左上角，选择>协同。在顶部菜单栏，单击 图标，选择 快速入门 工作组。在左侧导航栏，单击 图标。获取物理表，具体步骤...
数据服务
前提条件 已根据快速入门教程完成加载样例数据操作，具体信息请参见 样例数据。已根据快速入门教程完成数据开发操作，具体信息请参见 数据开发。操作步骤 登录企业数据智能平台。在页面左上角，选择>协同。在顶部菜单栏，单击 图标，选择 ...
调试实时任务
上传本地数据前需要先下载样例，样例由Dataphin自动识别读写的表和表的schema信息生成的csv格式样例模板，您可根据下载的样例编辑需要上传的数据，单击 上传 后，数据自动填充至 元数据采样 区域。手动输入数据 适用于采集的数据比较少，...
数据资产管理
数据资产管理通过统一的数据资产目录，沉淀数据供给方生产的各类型数据，帮助数据使用者快速了解和获取业务需要的高质量数据资产，促进数据资产发挥更大的业务价值。同时，通过查看数据资产全局血缘，清晰的了解数据资产的上下游关联。前提...
调试实时任务
上传本地数据前需要先下载样例，样例由Dataphin自动识别读写的表和表的schema信息生成的csv格式样例模板，您可根据下载的样例编辑需要上传的数据，单击 上传 后，数据自动填充至 元数据采样 区域。手动输入数据 适用于采集的数据比较少，...
数据标准建模
将数据字典和质量校验函数以及逻辑表物理化到数据库，帮助您在数据标准的约束下构建数据模型，将数据标准贯彻到数据质量分析、保障及检查的全过程中，将散乱的多源异构数据加工成标准、干净的数据。前提条件 已根据快速入门教程完成加载样...
通过数据同步功能同步Kafka至湖仓版（推荐）
获取Kafka样例数据在大于8KB的情况下，Kafka API会将数据进行截断，导致解析样例数据为JSON格式时失败，从而无法自动生成字段映射信息。使用流程 步骤一：新建数据源。步骤二：新建同步链路。步骤三：启动数据同步任务。步骤四：数据分析。...
使用tcpdump抓包分析网络问题
持续时长：设置抓取数据包的时长。单位为秒。网络协议 选择网络协议。支持TCP、UDP和ICMPv4。开启tcpdump后，系统将开始抓包，并生成一个对应的运维任务，任务的状态为 运行中。根据需要对目标ECI实例进行调试，然后关闭tcpdump。关闭...
数据上云场景
MaxCompute平台提供了丰富的数据上传下载工具，可以广泛应用于各种数据上云的应用场景，本文为您介绍三种经典数据上云场景。Hadoop数据迁移 您可使用MMA...具体场景示例请参见 Flume收集网站日志数据到MaxCompute 和 海量日志数据分析与应用。
通过自定义模型识别
单击完成训练的模型 操作 列的 图标，即可查看通过该模型提取的样本特征对样例数据识别的准确率。建议当准确率为100%时，再投入上线使用该模型。说明 如果模型训练的评估结果准确率达不到100%，则投入上线使用识别的数据可能会有较大误差。...
客户案例
DataWorks在多个行业中均有典型的案例落地，帮助多个行业的企业解决数据痛点，挖掘数据价值，本文为您介绍典型行业中已落地的客户案例。新零售行业：大润发云上数据中台建设 客户架构如下。客户简介 为了快速数字化转型，拥抱新零售，...
需求分析
ods_raw_log_d 网站访问日志明细表数：dwd_log_info_di 用户网站访问信息宽表：dws_user_info_all_di 用户画像数据：ads_user_info_1d 根据规范设计数据流：本实验使用数据集成离线同步任务将用户信息数据与用户网站访问记录数据分别同步至...
需求分析
ods_raw_log_d 网站访问日志明细表：dwd_log_info_di 用户网站访问信息宽表：dws_user_info_all_di 用户画像数据：ads_user_info_1d 根据规范设计数据流：本实验使用数据集成离线同步任务将用户信息数据与用户网站访问记录数据分别同步至...
采集数据
本文为您介绍如何新建OSS和RDS数据源来访问本教程所提供的用户信息与网站日志数据，配置数据同步链路至私有OSS数据源，并通过EMR Hive节点建表去查询同步后的数据，完成数据同步的操作过程。前提条件 开始本文的操作前，请准备好需要使用的...
实时消费Kafka数据
当您需要将Kafka数据写入 云原生数据仓库AnalyticDB PostgreSQL版，且不希望使用其他数据集成工具时，可以通过实时数据消费功能直接消费Kafka数据，减少实时处理组件依赖，提升写入吞吐。Apache Kafka是一个容错、低延迟、分布式的发布-...
- 产品推荐
- 这些文档可能帮助您