生成测试数据
背景信息 OceanBase 开发者中心（OceanBase Developer Center，ODC）提供模拟数据功能供用户在测试数据库性能或者验证功能等需要大量模拟数据的场景下，能够快速根据表中的字段类型生成数据。注意事项 单次模拟数据上限为 1 亿行。拥有检查...
基础术语
中文 释义 数据抓取延迟 数据抓取延迟是指数据同步服务抓取数据并写入产品存储的时间与数据实际写入至源数据库的时间差。数据抓取延迟仅在增量同步阶段有数值。数据写入延迟 数据写入延迟是指同步到目标实例的最新数据在源数据库执行的时间...
查看同步任务详情
在任务详情页，您可以查看以下信息：数据来源信息：上游数据抓取延迟：数据同步服务抓取数据写入存储的时间与数据实际写入至源数据库的时间差。源端数据源配置信息：包括源端数据库主机、端口、名称，数据表及用户名等。数据去向信息：下游...
统计功能介绍
Google数据抓取：指Google（谷歌）搜索引擎的数据抓取访问您的网站的次数。其他数据抓取：指其他搜索引擎（如搜搜、搜狗等）的数据抓取访问您的网站的次数。3.栏目统计 3.1 在栏目统计中可以查看到相应网站栏目页面的访问数据。包括栏目的...
负载说明
测试结果：在Linux Kernel 3.2及以上的版本，DBGateway支持以PACKET_MMAP方式（在内核空间中分配一块内核缓冲区，然后用户空间程序调用mmap映射到用户空间）更快地抓取数据包。所以DBGateway支持全量SQL功能，在Linux Kernel 3.2及以上的...
网络抓包
最大字节数 设置抓取数据包的最大字节数。如果数据包超过该字节数则停止抓包。需要填写最大不超过1048576的整数。时长（s）设置抓包的最长时间。单位：秒。企业版的时长为300秒；旗舰版的时长为600秒。协议 设置抓包的协议类型。可选项：...
设备
如果真实设备未连接到物联网平台，没有上报数据，则需使用设备模拟器功能，在线模拟上报数据进行数据格式验证。具体操作，请参见 设备模拟器。动态设备：可选页面变量、组件值、URL参数和来自交互动作四种类型的动态设备。页面变量：选择在...
常见问题
如何处理：参见 配置数据源（来源为PolarDB）的操作授予权限，或者检查PolarDB是否是主节点（读写库），目前实时任务不支持从PolarDB备节点抓取数据。实时任务，运行报错：...
常见问题
如何处理：参见 配置数据源（来源为PolarDB）的操作授予权限，或者检查PolarDB是否是主节点（读写库），目前实时任务不支持从PolarDB备节点抓取数据。实时任务，运行报错：...
开发者中心介绍
3 工单 您可以通过工单申请执行导出数据/导入数据/模拟数据/数据库变更/无锁结构变更/SQL 计划/数据归档任务，并对创建的任务流程进行审批。4 数据源 ODC 支持与 OceanBase 数据库建立连接，连接成功后，您可以通过 ODC 对所连接的数据源...
模拟上报设备数据
为了快速体验物联网数据服务的功能，获得数据服务所需要的数据，您可以使用设备模拟器，快速模拟生产车间的设备上报数据。本文介绍如何使用设备模拟器调试设备上报数据。前提条件 已创建产品和设备，具体操作，请参见 创建产品和设备。背景...
产品架构
数据源地址动态适配 对于数据订阅及同步链路，容灾系统还会监测数据源的连接地址切换等变更操作，一旦发现数据源发生连接地址变更，它会动态适配数据源新的连接方式，在数据源变更的情况下，保证链路的稳定性。数据迁移工作原理 数据迁移...
全增量同步任务常见问题
如何处理：参见 PolarDB数据源 的操作授予权限，或者检查PolarDB是否是主节点（读写库），目前实时任务不支持从PolarDB备节点抓取数据。实时任务，运行报错：...
物模型数据解析使用示例
本文以解析上、下行属性数据的脚本为例，介绍为数据格式为透传/自定义的产品下的物模型数据解析脚本编写方法。步骤一：编辑脚本 在 生活物联网平台，创建产品。创建产品操作指导，请参见 创建产品。说明 数据格式 选择为 透传/自定义。为该...
项目协同管理
工单管理 无数据库编辑权限的项目普通成员可以通过工单申请执行导出数据/导入数据/模拟数据/数据库变更/无锁结构变更/SQL 计划/数据归档任务。成员管理 项目管理员可以在成员页面中，添加/编辑/移除成员。项目设置 项目管理员可以在设置...
提交物模型消息解析脚本
{"id":"12345","version":"1.0","code":200,"method":"thing.event.property.post","data":{} } 数据解析引擎会将JSON格式数据转换为以下数据：0x0200003039c8 模拟解析物联网平台下发的属性设置数据。选择模拟类型为 设备接收数据，输入...
背景信息及准备工作
建议目录为：workshop_sh/trade 和 workshop_sh/user 上传文件 下载 模拟数据，将交易记录和开户信息数据分别上传到trade、user目录。在DLA中完成以下准备工作 开通云原生数据湖分析服务。重置数据库密码。在Quick BI中完成以下准备工作 ...
表数据管理
模拟数据 创建模拟数据。具体操作步骤，请参见 生成测试数据。回到开始 跳转至第一页。上一页 向上翻页。下一页 向下翻页。跳至底部 跳转至最后一页。展示数据量 设置在页面中展示的行数。搜索 通过关键字搜索表数据。列管理 筛选在页面中...
技术发展趋势
这表明注重数据价值的时代已经来临，并逐渐取代了从模拟数据向数字化转变的时期；产生、使用和管理对生活产生重要影响的数据信息，对于消费者、政府和企业的正常生活和运转必不可少。消费者和企业将持续在不同设备和云之间产生、分享和访问...
日志服务数据同步至Hologres
存在多种方式可以将日志服务SLS的数据写入至Hologres，本文以Flink、DataWorks数据集成为例，为您介绍如何将SLS数据实时写入至Hologres。前提条件 开通SLS服务并创建Project和Logstore，详情请参见 快速入门。开通Hologres服务并连接至开发...
新功能发布记录
OceanBase 数据库之间的数据迁移 支持 TiDB 数据库至 OceanBase 数据库 MySQL 租户的结构迁移、全量迁移、增量同步、全量校验和反向增量 迁移 TiDB 数据库的数据至 OceanBase 数据库 MySQL 租户 支持 PolarDB-X 1.0 数据库至 OceanBase ...
Flink_SQL任务开发方式
以下示例代码实现了模拟数据的输入输出（从t1表中读数据写到t2表中）。说明 使用原生DDL+DML开发语句创建表，您需关闭Dataphin 编码规范 中的 禁止使用Flink原生DDL语句 设置。具体操作，请参见 编码规范。create temporary table t1(id ...
设备模拟器
您可使用模拟数据，测试物联网平台与设备端之间的通信功能，并定位问题。本文介绍设备模拟接入物联网平台并进行通信的具体操作。功能说明 通过设备模拟器，可调试设备通信功能。具体功能如下：功能项 说明 上行指令调试 设备上报消息到物...
Flink_SQL任务开发方式
以下示例代码实现了模拟数据的输入输出（从t1表中读数据写到t2表中）。说明 使用原生DDL+DML开发语句创建表，您需关闭Dataphin 编码规范 中的 禁止使用Flink原生DDL语句 设置。具体操作，请参见 编码规范。create temporary table t1(id ...
使用数据实验室
日志服务数据实验室为您提供各种场景的模拟日志数据及各种公共数据集数据，便于您熟悉日志服务的查询分析、查看报表等各种操作。本文介绍如何使用阿里云数据实验室。前提条件 已开通日志服务。首次登录 日志服务控制台 时，根据页面提示...
网络异常时如何抓取数据包
如果-s为0，则表示自动选择合适的长度来抓取数据包。w：用于将抓包结果导出到文件，而不是在控制台进行分析和打印输出。i：用于指定需要监听的接口（网卡）。vvv：用于输出详细的交互数据。expression：是一个正则表达式，用于过滤报文，...
故障诊断
抓取性能数据 进入应用控制台，点击想查看的应用 实例 按钮，进入对应的实例即可查看 Node.js 性能平台提供的 抓取性能数据 功能，如下图所示：一般来说，如果涉及到内存泄漏的，可以抓取 堆快照，如果是 CPU 异常飙高的，可以抓取 CPU ...
需求分析
ods_raw_log_d 网站访问日志明细表数：dwd_log_info_di 用户网站访问信息宽表：dws_user_info_all_di 用户画像数据：ads_user_info_1d 根据规范设计数据流：本实验使用数据集成离线同步任务将用户信息数据与用户网站访问记录数据分别同步至...
需求分析
ods_raw_log_d 网站访问日志明细表：dwd_log_info_di 用户网站访问信息宽表：dws_user_info_all_di 用户画像数据：ads_user_info_1d 根据规范设计数据流：本实验使用数据集成离线同步任务将用户信息数据与用户网站访问记录数据分别同步至...
如何排查移动网关调用错误
问题描述 前提条件：客户端已经正确接入移动网关组件（MGS）。MGS 控制台已经正确配置好后端应用 API 服务。问题表现：客户端通过代码发起 PRC 调用，但未能拿到预期结果。...网络包的抓取方法和工具：参见 如何抓取网络包。
Slowly Changing Dimension
业务数据随着时间在不断变化，如果您要对数据进行分析，则需要考虑如何存储和管理数据。其中数据中随着时间变化的维度被称为Slowly Changing Dimension（SCD）。E-MapReduce根据实际的数仓场景定义了基于固定粒度的缓慢变化维（G-SCD）。...
使用tcpdump抓包分析网络问题
持续时长：设置抓取数据包的时长。单位为秒。网络协议 选择网络协议。支持TCP、UDP和ICMPv4。开启tcpdump后，系统将开始抓包，并生成一个对应的运维任务，任务的状态为 运行中。根据需要对目标ECI实例进行调试，然后关闭tcpdump。关闭...
数据上云场景
MaxCompute平台提供了丰富的数据上传下载工具，可以广泛应用于各种数据上云的应用场景，本文为您介绍三种经典数据上云场景。Hadoop数据迁移 您可使用MMA...具体场景示例请参见 Flume收集网站日志数据到MaxCompute 和 海量日志数据分析与应用。
通过操作审计查询行为事件日志
DeleteBusiness 删除业务流程 ExecuteFile 将文件作为临时任务执行 LockFile 偷锁编辑 DICreateDatasource 数据集成新增数据源 数据集成 DIBatchCreateDatasource 数据集成批量新增数据源 DIUpdateDatasource 数据集成修改数据源 ...
概述
本文以一个生产车间为例，指导您在物联网平台上创建产品和设备，并定义物模型，通过设备模拟器推送数据，然后对数据进行分析，帮助您快速了解并使用物联网平台数据服务的功能。场景介绍 本文以生产车间为例，通过为车间安装的以下物联网...
互联网、电商行业离线大数据分析
通过阿里云MaxCompute、云数据库RDS MySQL、DataWorks等产品，可以实现互联网、电商网站的离线数据分析，且支持通过DataV大屏展示分析后的业务指标数据。概述 电商网站的销售数据通过大数据进行分析后，可以在大屏幕展示销售指标、客户指标...
采集数据
本教程以MySQL中的用户基本信息（ods_user_info_d）表及OSS中的网站访问日志数据（user_log.txt）文件，通过数据集成离线同步任务分别同步至MaxCompute的ods_user_info_d、ods_raw_log_d表为例，为您介绍如何通过DataWorks数据集成实现异构...
采集数据
本教程以MySQL中的用户基本信息（ods_user_info_d）表及OSS中的网站访问日志数据（user_log.txt）文件，通过数据集成离线同步任务分别同步至MaxCompute的ods_user_info_d、ods_raw_log_d表为例，为您介绍如何通过DataWorks数据集成实现异构...
采集数据
本文为您介绍如何新建OSS和RDS数据源来访问本教程所提供的用户信息与网站日志数据，配置数据同步链路至私有OSS数据源，并通过EMR Hive节点建表去查询同步后的数据，完成数据同步的操作过程。前提条件 开始本文的操作前，请准备好需要使用的...
实验介绍
数据采集 数据加工 配置数据质量监控 数据可视化展现 目标人群 开发工程师、数据分析师、产品运营等存在数仓数据获取与数据分析洞察人员。涉及产品 本案例涉及以下产品：一站式大数据开发治理DataWorks 本案例通过DataWorks实现数据采集，...
- 产品推荐
- 这些文档可能帮助您