创建与管理下载任务
说明 字段重命名在字段显示内容里设置：如果配置自助取数或交叉表的 数据展示格式 为 自动，且没有设置对齐方式、字段重命名等，则导出的Excel中的数据不带格式，此时选择带格式Excel或纯数据Excel，效果一致。如果配置自助取数任务或者...
基础术语
中文 释义 数据抓取延迟 数据抓取延迟是指数据同步服务抓取数据并写入产品存储的时间与数据实际写入至源数据库的时间差。数据抓取延迟仅在增量同步阶段有数值。数据写入延迟 数据写入延迟是指同步到目标实例的最新数据在源数据库执行的时间...
查看同步任务详情
在任务详情页，您可以查看以下信息：数据来源信息：上游数据抓取延迟：数据同步服务抓取数据写入存储的时间与数据实际写入至源数据库的时间差。源端数据源配置信息：包括源端数据库主机、端口、名称，数据表及用户名等。数据去向信息：下游...
负载说明
DBGateway按照TCP/IP协议解析抓取的网络数据包，过滤其他端口的数据包，只对流入MySQL端口的数据包进行分析。流入MySQL端口的数据包按照MySQL通讯协议拼成完整的SQL。DBGateway将多条SQL打包压缩后，加密上传到DAS的存储集群中。负载说明 ...
产品架构
数据源地址动态适配 对于数据订阅及同步链路，容灾系统还会监测数据源的连接地址切换等变更操作，一旦发现数据源发生连接地址变更，它会动态适配数据源新的连接方式，在数据源变更的情况下，保证链路的稳定性。数据迁移工作原理 数据迁移...
通过Kettle导入至数仓版
本文以Excel为例，介绍如何通过Kettle将本地Excel数据导入至 AnalyticDB MySQL版 数仓版（3.0）。背景信息 Kettle是一款非常受欢迎的开源ETL工具软件，主要用于数据整合、转换和迁移。Kettle不仅支持各类关系型数据库和NoSQL数据源（HBase...
使用kettle将本地数据导入AnalyticDB MySQL 2.0
本文以Excel为例，介绍如何通过kettle将本地Excel数据迁移到 云原生数据仓库AnalyticDB MySQL版 2.0集群。背景信息 Kettle是一款非常受欢迎的开源ETL工具软件，主要用于数据整合、转换和迁移。Kettle除了支持各种关系型数据库，HBase ...
网络异常时如何抓取数据包
172.xx.xx.226.ssh:Flags[P.],cksum 0x4759(correct),seq 1:53,ack 129036,win 15472,length 52 执行以下命令，抓取eth1网卡发送至指定IP地址的PING交互数据，并输出详细交互数据。tcpdump-s 0-i eth1-vvv dst 223.xx.xx.5 and icmp 系统...
网络抓包
云防火墙提供网络抓包工具，允许您通过特定的IP和端口捕获互联网边界的流量数据包，便于您快速分析数据包内容、诊断网络问题以及审查潜在的攻击行为，进而揭示网络通信的安全隐患。本文介绍如何有效使用该网络抓包工具。限制说明 云防火墙...
管理模型
导出模型 DDM可以将模型直接保存，也可以将模型导出为Excel数据字典、ERwin模型文件和PNG图片等格式。导出Excel数据字典。右键单击选中的模型名称，在弹出的菜单中单击 导出数据字典。您可以在 导出元数据设置 页面，过滤选择需要导出的...
常见问题
如何处理：参见 配置数据源（来源为PolarDB）的操作授予权限，或者检查PolarDB是否是主节点（读写库），目前实时任务不支持从PolarDB备节点抓取数据。实时任务，运行报错：...
常见问题
如何处理：参见 配置数据源（来源为PolarDB）的操作授予权限，或者检查PolarDB是否是主节点（读写库），目前实时任务不支持从PolarDB备节点抓取数据。实时任务，运行报错：...
全增量同步任务常见问题
如何处理：参见 PolarDB数据源 的操作授予权限，或者检查PolarDB是否是主节点（读写库），目前实时任务不支持从PolarDB备节点抓取数据。实时任务，运行报错：...
政务舆情分析系统的数据库解决方案
背景信息 全网舆情分析系统，可以实现百亿条网页数据的存储、实时新增网页的抓取和存储，并能对新增网页做实时的元数据提取。有了提取结果，还需要进行进一步的挖掘分析，这些分析包括但不限于：舆情的影响力诊断：从传播量级和扩散趋势来...
统计功能介绍
【关于数据抓取的解释】数据抓取：指一种自动获取网页内容的程序，是搜索引擎的重要组成部分。百度数据抓取：指百度搜索引擎的数据抓取访问您的网站的次数。Google数据抓取：指Google（谷歌）搜索引擎的数据抓取访问您的网站的次数。其他...
如何操作Microsoft的Excel
案例流程：打开Excel-设置字段-打开天猫-搜索目标商品信息-抓取数据-填充到Excel中。1).示例代码（文件地址需换成自己本地）：from rpa.core import*from rpa.utils import*import rpa4 as rpa#使用V3引擎 def start():#在此处开始编写您的...
故障诊断
抓取性能数据 进入应用控制台，点击想查看的应用 实例 按钮，进入对应的实例即可查看 Node.js 性能平台提供的 抓取性能数据 功能，如下图所示：一般来说，如果涉及到内存泄漏的，可以抓取 堆快照，如果是 CPU 异常飙高的，可以抓取 CPU ...
通过Navicat for MySQL导出数据库表中的数据
本文为您介绍通过Navicat for MySQL导出MySQL数据库表中的数据到Excel的方法。前提条件 已安装Navicat for MySQL。说明 您可以前往 Navicat官网 下载Navicat for MySQL。背景信息 如果数据库的表需要新增或修改的数据较多，您可以先通过...
如何排查移动网关调用错误
问题描述 前提条件：客户端已经正确接入移动网关组件（MGS）。MGS 控制台已经正确配置好后端应用 API 服务。问题表现：客户端通过代码发起 PRC 调用，但未能拿到预期结果。...网络包的抓取方法和工具：参见 如何抓取网络包。
Quick BI导入Excel后，数据集和Excel中字段顺序不一致
概述 Quick BI导入Excel后，数据集和Excel中字段顺序不一致。问题描述 导入Excel后，数据集和Excel中字段顺序不一致。同时Quick BI会把文本类型的数值，默认在后边加了.0。解决方案 Quick BI 数据集里字段的顺序不保证和数据库的表（也包括...
数据标准
添加数据标准 添加数据标准的方式有两种，第一种是手动在平台中单个添加标准，第二种是通过Excel的形式批量将数据标准维护到平台中去。进入【数据标准】模块，点击‘“创建数据标准”按钮即可进入数据标准添加页面。根据选项填写数据标准的...
将Excel的数据导入数据库
您可以将Excel的数据通过数据管理服务DMS（Data Management Service）导入到RDS MySQL数据库中。操作步骤 将Excel文件另存为.csv格式，并将中文或不符合数据库要求的列名修改为英文。说明 如果您的数据没有唯一的ID列，建议在最前方添加一...
SEO相关问题
一个重要网页的快照往往会在搜索引擎数据库中保存有多份网页快照，这些快照的抓取时间并不相同。在一些极特殊情况下，搜索引擎系统可能会选择不同于当前搜索结果中的快照版本，导致出现快照时间倒退的情况。这对网站在搜索引擎中的表现无...
通过Robots协议屏蔽搜索引擎抓取网站内容
Disallow:/.jpg$：禁止抓取网页所有.jpg格式的图片。Disallow:/ab/adc.html：禁止爬取ab目录下面的adc.html文件。Allow:/cgi-bin/：这里定义是允许爬取 cgi-bin 目录下面的目录。Allow:/tmp：这里定义是允许爬取 tmp 整个目录。Allow:.htm$...
Excel导入
简介 Excel导入组件用于向数据库批量上传相关业务数据。组件内置两个按钮下载导入模板和批量提交。下载导入模板会下载Excel导入组件数据源对应实体的Excel模板文件。批量提交按钮会触发文件上传，并按Excel导入组件数据源对应实体字段解析...
准备数据
上传原始数据至RDS数据源，详情请参见 将Excel的数据导入数据库。新增数据源 说明 本次实验需要创建MySQL数据源。进入管理中心页面。登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 管理中心，在下拉框中选择对应工作空间后...
Sheet
excel_file_path=r"D:\2_测试文件归档\测试Excel.xlsx"excel=rpa.app.wps.excel.open(excel_file_path,visible=True)sheet=excel.get_sheet("非默认页")sheet.activate()excel.close()read read(range,only_visible=False,skip=0,max=1000)...
Sheet
file_path,visible=True)sheet=excel.get_sheet()row_value=["行数据1","RPA测试"]cell_value="RPA单元格值"column_value=["列数据1","RPA测试"]range_value=[["区域数据1","区域数据2"],["区域数据3","区域数据4"]]sheet.write('1',row_...
数据导入
当您需要将大批量数据导入至数据库时，可以使用数据管理DMS提供的数据导入功能，导入...示例文件 SQL附件示例 CSV文件示例（第1行为属性）CSV文件示例（第1行为数据）Excel附件示例（第一行为属性）Excel附件示例（第一行为数据）JSON附件示例
导入指标
通过Excel导入指标数据，可实现批量创建指标。本文介绍如何导入指标。操作步骤 登录 数据资源平台控制台。在页面左上角，单击 图标，选择 协同。在顶部菜单栏，单击 图标，选择目标工作组，单击 资产加工。说明 若您已在 资产加工 页面，请...
导入数据元
本文介绍如何通过Excel批量导入数据元数据。操作步骤 登录 数据资源平台控制台。在页面左上角，单击 图标，选择 协同。在顶部菜单栏，单击 图标，选择目标工作组，单击 资产加工。说明 若您已在 资产加工 页面，请跳过“单击 资产加工”的...
导入指标
通过Excel导入指标数据，可实现批量创建指标。本文介绍如何导入指标。操作步骤 登录企业数据智能平台。在页面左上角，单击 图标，选择 协同。在顶部菜单栏，单击 图标，选择目标工作组，单击 资产加工。说明 若您已在 资产加工 页面，请跳...
导入数据元
本文介绍如何通过Excel批量导入数据元数据。操作步骤 登录企业数据智能平台。在页面左上角，单击 图标，选择 协同。在顶部菜单栏，单击 图标，选择目标工作组，单击 资产加工。说明 若您已在 资产加工 页面，请跳过“单击 资产加工”的操作...
导入数据至维表
创建完成维表后，您可以在维表中直接写入数据，也可以导入电子表格、本地CSV文件和Excel文件的数据至维表，为后续数据分析做准备。前提条件 已创建完成一个维表，详情请参见 创建维表。操作步骤 在 维表 页面，单击 全部维表 下相应的 文件...
使用tcpdump抓包分析网络问题
ECI支持一键开启tcpdump功能，用于捕获和解析网络数据包，帮助您监视和分析网络流量。本文介绍如何开启tcpdump，以便在容器出现网络异常时，抓取网络报文，分析定位问题。背景信息 容器出现网络异常时，您可能需要抓取网络报文来分析定位...
添加数据集
DataV数据集支持多种数据源的接入，如数据库、excel表格文件等，通过对数据的结构化存储和元数据的汇集整理，提供高效实用的数据建模能力，可用的算子包括常见的数据聚合函数、按不同时间粒度划分、地理信息处理等。本文为您介绍如何在...
通过Excel导入逻辑表
通过导入标准格式的Excel文件或者Visual Paradigm格式文件方式，批量创建逻辑表以及逻辑表的质量规则；同时支持将导出的逻辑表文件快速导入，实现工作组间的逻辑表信息迁移。本文介绍如何通过Excel导入逻辑表。操作步骤 登录 数据资源平台...
通过Excel导入逻辑表
通过导入标准格式的Excel文件或者Visual Paradigm格式文件方式，批量创建逻辑表以及逻辑表的质量规则；同时支持将导出的逻辑表文件快速导入，实现工作组间的逻辑表信息迁移。本文介绍如何通过Excel导入逻辑表。操作步骤 登录企业数据智能...
Quick BI数据集Excel上传数据提示“xxx:ORA-00904:xxx...
问题描述 Quick BI数据集使用Excel上传数据创建SQL，报错“xxx:ORA-00904:xxx”。问题原因 这个错误原因是表名错误或字段错误。1.Quick BI上传至数据的表名一般会变成“qbi”开头，不再是Excel中Sheel的名称。2.Excel中第一列的属性字段中...
敏感数据保护
Dataphin支持敏感数据的识别和敏感数据的脱敏保护，可以结合权限管控方案一起，构建起完善的敏感数据保护体系。数据分类分级 Dataphin支持对数据的分类分级进行管理，内置了常用的个人信息数据分类，同时支持客户自定义企业的数据分类分级...
- 产品推荐
- 这些文档可能帮助您