专家成长计划服务内容说明
30人 专有云服务基础课程-ADB 8 专有云分析型数据库服务（AnalyticDB，简称ADB）擅长事务处理，在数据操作中保持着很强的一致性和原子性，能够很好的支持频繁的数据插入和修改，本培训课程以专有云ADB 产品为核心，介绍ADB 产品、架构；...
专家成长计划技术培训课程
专家成长 计划 技术培训课程详情 课程类别 课程名称 标准课程天数 班级容量 内容简介&概要 课程形式 云计算技术基础 云计算服务基础综述 1天 30人 内容主要包括云计算概述、阿里云简介、阿里云的云平台架构、阿里云解决方案。通过专题的...
图解MySQL 8.0优化器查询解析篇
本文重点介绍了优化器基于规则的其中一部分优化，更多的偏重于SQL中的基本操作符，如表、列、函数、聚合、分组和排序等元素的解析和设置，以及一些显而易见的结构变化。背景和架构 通过编写程序来动态实现应用所需要的逻辑，从而在程序执行...
宽表模型设计
本文介绍如何设计车联网场景下的数据表结构和多元索引结构。数据表结构 假设存储车辆元数据的数据表名称为vehicles_metadata，表结构请参见下表。说明 关于表设计的更多信息，请参见 表设计。字段名称 类型 描述 vin_id（主键列）String ...
如何基于LSM-tree架构实现一写多读
LSM-tree数据库引擎 LSM-Tree全称是Log Structured Merge Tree，是一种分层、有序，面向磁盘设计的数据结构，其核心思想是利用磁盘批量的顺序写要比随机写性能高的特点，将所有更新操作都转化为追加写方式，提升写入吞吐。LSM-tree类的存储...
OGG插件介绍
随着数据规模的不断扩大，传统的RDBMS难以满足OLAP的需求，本文将介绍如何将Oracle的数据实时同步到阿里云的大数据处理平台当中，并利用大数据工具对数据进行分析。OGG采集工具 一、背景介绍 说明 随着数据规模的不断扩大，传统的RDBMS难以...
解析方式总结
本视频向您展示数据加工非结构化数据解析方式的总结。
如何对JSON类型进行高效分析
PolarDB 列存索引（In Memory Column Index，IMCI）功能推出了完备的虚拟列与列式JSON功能等，可以快速处理大数据和多种数据类型（包括结构化数据与半结构化数据等），并提供高效的数据分析、查询与流计算能力，适用于数据分析、数据仓库与...
全文检索
倒排索引是一种存放了数据和位置关系的数据结构，在数据系统中通常被用于处理大量文本的检索问题。本文通过以下示例，展示倒排索引如何提升文本的检索性能。现有一张数据表 Document，存放了一系列的文本 Text，同时每条文本都有一个对应的...
Flume插件
产品介绍 Flume-DataHub插件是基于Flume开发的DataHub数据订阅/发布插件，可以将采集到的数据写入DataHub，也可以从DataHub读取数据写入其他系统。该插件遵守Flume插件开发规范，安装方便，可以很方便的向DataHub发布/订阅数据。产品安装 ...
产品架构
其整体架构与宽表引擎一致，基于数据自动分区+分区多副本+Lucene的结构设计，具备全文检索、聚合计算、复杂多维查询等能力，支持水平扩展、一写多读、跨机房容灾、TTL等，满足海量数据下的高效检索需求，具体如下：LindormSearch 的数据...
管理健康报告
DDL：用于定义和修改数据结构的语句。例如，CREATE、ALTER等。其他：包括非DML和DDL类的SQL命令。例如，SHOW等辅助命令语句。SQL查询分析 该部分内容是对StarRocks执行的SQL语句的查询时间、CPU消耗以及内存消耗等维度进行排序，从而获取...
基本概念
数据结构多样时，可以选择将结构化数据存储在Lindorm，将非结构化数据存储在MongoDB，满足业务的多样化存储需求。更多信息，请参见 什么是云数据库MongoDB版。O OSS 对象存储服务（Object Storage Service，简称OSS）是阿里云提供的海量、...
创建数据解析任务
物联网数据服务支持数据解析功能，对数据源数据进行预处理，用于更深层次地挖掘数据价值。本文介绍创建数据解析的具体步骤。前提条件 已备份设备数据源或创建API数据源，更多信息，请参见 配置数据源。背景信息 数据解析功能说明，请参见 ...
深度解析Lindorm搜索索引（SearchIndex）特性
为了解决 写入的数据无法立即可查 的问题，Lindorm基于Lucene实现了一种索引实时可见的方案，通过精细化的数据结构设计和动态的内存管理机制，可以保证索引数据一旦写入成功后可以立即查询到，真正做到实时性。CQL API CQL是Cassandra的...
数据转发到云原生数据库PolarDB MySQL版
阿里云的PolarDB MySQL版是阿里巴巴自研的云原生HTAP数据库，基于云原生架构、计算存储分离、软硬件一体化设计，为用户提供具备超高弹性和性能、高可用和高可靠保障、高性价比的数据库服务。物联网平台可以将设备的指定Topic消息，先经过...
数据解析概述
物联网平台的数据服务提供数据解析功能，通过数据解析对设备数据或导入的API数据源的数据进行解析和预处理后，将数据流转到业务服务器，或以表的形式存储于物联网平台。功能说明 您可在物联网平台控制台的 数据服务>数据解析 页面，创建和...
采集数据
本教程以MySQL中的用户基本信息（ods_user_info_d）表及OSS中的网站访问日志数据（user_log.txt）文件，通过数据集成离线同步任务分别同步至MaxCompute的ods_user_info_d、ods_raw_log_d表为例，为您介绍如何通过DataWorks数据集成实现异构...
采集数据
本教程以MySQL中的用户基本信息（ods_user_info_d）表及OSS中的网站访问日志数据（user_log.txt）文件，通过数据集成离线同步任务分别同步至MaxCompute的ods_user_info_d、ods_raw_log_d表为例，为您介绍如何通过DataWorks数据集成实现异构...
功能更新动态（2023年）
创建MySQL数据源 创建PolarDB-X数据源 创建AnalyticDB for MySQL 2.0数据源 创建AnalyticDB for PostgreSQL数据源 创建达梦（DM）数据源 创建TiDB数据源 创建Kafka数据源 离线集成 新增Apache Doris数据源的离线集成。整库迁移任务支持...
文档更新动态（2023年）
更新说明 创建MySQL数据源 创建PolarDB-X数据源 创建AnalyticDB for MySQL 2.0数据源 创建AnalyticDB for PostgreSQL数据源 创建达梦（DM）数据源 创建TiDB数据源 创建Kafka数据源 离线集成配置优化 新增Apache Doris数据源的离线集成。...
新功能发布记录
迁移 RDS PostgreSQL 实例的数据至 OceanBase 数据库 Oracle 租户 同步 RDS PostgreSQL 实例的数据至 OceanBase 数据库 Oracle 租户 数据库至数据库的数据同步项目新增支持匹配规则能力，可以助力用户在数据同步项目中通过简单的配置通配符...
文档修订记录
DataWorks数据安全治理路线 2023年12月更新记录 时间 特性 类别 描述 产品文档 2023.12.29 新增功能 数据开发 若您要在DataWorks中进行数据建模、数据开发或使用运维中心周期性调度任务，需先将已创建的数据源或集群绑定至数据开发...
Kafka增量数据同步至MaxCompute
本文以将Kafka增量数据同步至MaxCompute的一个实践为例，为您介绍Kafka的分钟、小时、天增量数据定时调度写入MaxCompute小时、天分区表的配置详情。注意事项 Kafka的版本需要大于等于0.10.2小于等于2.2.x，且Kafka启用了记录时间戳，并且...
Kafka增量数据同步至MaxCompute
本文以将Kafka增量数据同步至MaxCompute的一个实践为例，为您介绍Kafka的分钟、小时、天增量数据定时调度写入MaxCompute小时、天分区表的配置详情。注意事项 Kafka的版本需要大于等于0.10.2小于等于2.2.x，且Kafka启用了记录时间戳，并且...
数据解析工作台说明
本文介绍数据解析工作台的导航栏、画布、操作栏功能。背景信息 您可以使用数据解析工作台，配置数据解析任务分析处理接入数据服务的数据源。更多信息，请参见 使用说明。进入数据解析工作台 在 物联网平台控制台 的 实例概览 页面，单击...
启动数据解析任务
数据解析任务启动后，便可实时地处理数据，然后输出到目标Topic、IoT孪生引擎 或数据存储表，以进一步分析、处理和使用数据。本文介绍如何启动和查看数据解析任务。前提条件 已配置数据解析任务，具体操作请参见，配置源节点、配置目标节点...
typeconv-overview
也就是说，每个数据项都有一个相关的数据类型，数据类型决定其行为和允许的用法。本数据库有一个可扩展的类型系统，该系统比其它 SQL 实现更具通用和灵活。因而，本数据库中大多数类型转换行为是由通用规则来管理的，而不是ad hoc启发式...
内存型
云原生内存数据库Tair 内存型（简称内存型）适合并发量大、读写热点多、高性能场景，内存型重点增强了多线程性能并集成多个自研扩展数据结构。购买方式 创建实例 主要优势 类别 说明 兼容性 100%兼容原生Redis，无需修改业务代码，提供 ...
配置解析器
云产品流转功能通过配置数据流转解析器关联数据源（设备Topic消息）和数据目的（其他Topic、业务服务器或其他阿里云产品），使用解析脚本实现设备消息转发。本文介绍设置数据流转解析器的完整操作步骤，依次是创建解析器、关联数据源和数据...
配置源节点
您可在画布下方 数据结构 中查看解析字段的结构列表，包括字段名称和数据类型。说明 如果 是否透传 为 是，在画布中 源节点 后会自动删除已添加的其他节点，自动添加并连接 目标节点。此时，源节点 与 目标节点 之间不可再添加其他节点。...
修改DNS服务器
同时不同厂商之间的解析数据不一致问题也容易引发故障。阿里云注册域名 设置方法 在阿里云注册的域名，DNS一般默认为阿里云解析DNS提供的DNS服务器地址。如果您有自己注册成功的DNS服务器，且需要将域名的DNS修改为您自己的DNS，或将DNS...
什么是消息解析
数据解析流程图：设备上报自定义Topic的数据（上行数据）全流程图：自定义Topic消息解析脚本编写方法，请参见：提交消息解析脚本 JavaScript脚本示例 Python脚本示例 PHP脚本示例 物模型消息解析 数据格式 为 透传/自定义 的产品下的设备与...
通过Logstash导入数仓版
Logstash是开源的服务器端数据处理管道，能够同时从多个数据源采集数据，然后对数据进行转换，并将数据写入指定的存储中。AnalyticDB MySQL 完全兼容MySQL，您可以将Logstash Input插件支持的任一数据源中的数据写入 AnalyticDB MySQL。...
数据接入概述
数据接入是物联网数据服务的基础，接入数据的数据源分为设备、云产品、IoT孪生、API和本地上传。物联网数据服务的数据解析、数据存储、数据指标等功能都需依赖已接入的数据源。设备数据源 设备数据源包含了设备上报的自定义Topic数据和物...
内存型
数据结构模块集成 集成多个自研的Redis模块，包括 exString（包含 Redis String命令增强）、exHash、GIS、Bloom、Doc、TS、Cpc、exZset、Roaring、Vector 和 Search，扩展了Redis的适用性，使业务无需再关心存储的结构和时效性，能够极大...
JSON日志
本视频向您展示数据加工结构化数据JSON格式日志的解析。简单JSON解析 复杂JSON解析
解析记录备份
概述 解析记录备份 可帮助用户实现DNS解析记录的定时备份、并支持平滑一键恢复到至指定备份版本，可以有效防止因解析记录丢失而造成的业务影响。产品限制 解析记录备份是云解析DNS付费版功能，版本限制如下 版本 解析记录备份功能 定时备份...
逻辑表
配置完逻辑库后，系统会自动解析逻辑库中符合条件的物理表，生成逻辑表，您也可以手动更新逻辑表。本文介绍生成逻辑表的规则和手动更新逻辑表的方法。前提条件 已配置逻辑库。更多信息，请参见 逻辑库。逻辑库中有多张表结构相同且表名前缀...
数据方案概览
一级功能 二级功能 功能描述 结构变更 结构设计 可以对目标库、表进行符合研发规范的表结构设计，保障多套环境（例如开发环境、测试环境、生产环境）之间结构的一致性。结构同步 支持对比不同数据库、指定表之间的表结构，产生差异化脚本并...
- 产品推荐
- 这些文档可能帮助您