接入Trace数据概述
线下Trace系统 如果您的业务部署在线下IDC中，只有部分网关机有公网、专线，则可以在网关机上部署OpenTelemetry Collector，将其他机器上的Trace数据发送到网关机中，并通过网关机上的OpenTelemetry Collector将Trace数据转发到日志服务。...
云产品流转概述
什么是云产品流转 设备基于 Topic 与物联网平台进行通信时，您可以在数据流转中，编写SQL对Topic中的数据进行处理，并配置转发规则将处理后的数据转发到其他设备Topic或阿里云其他服务。数据目的 说明 相关文档 Topic 将数据转发到另一个...
配置解析器
可选操作 您也在 云产品流转 页面的 解析器 页签，执行以下操作：警告 删除、停止解析器，或删除数据转发目的地成功后，如果用户在其他业务中使用了流转的设备数据，会导致服务不可用或影响用户的业务。请谨慎操作。查看：在 解析器详情 ...
设置数据流转规则
本文将为您介绍设置数据流转规则的完整操作步骤，依次是创建规则、编写处理数据的SQL、设置数据流转目的地、设置流转失败的数据转发目的地。操作步骤 登录 物联网平台控制台。在 实例概览 页签的 全部环境 下，找到对应的实例，单击实例...
日志字段说明
1000 policy_source_ip_rate_limitation_drop_con_max_pps 超过源IP并发连接限速策略（默认）规定的最大连接数而被丢弃的数据包的包转发率，单位：pps。1000 policy_source_ip_rate_limitation_drop_con_rate_pps 超过源IP并发连接限速策略...
日志字段说明
1000 policy_source_ip_rate_limitation_drop_con_max_pps 超过源IP并发连接限速策略（默认）规定的最大连接数而被丢弃的数据包的包转发率，单位：pps。1000 policy_source_ip_rate_limitation_drop_con_rate_pps 超过源IP并发连接限速策略...
基本概念
Mongos MongoDB分片集群请求入口，所有的请求都通过Mongos进行协调，Mongos是一个请求分发中心，它负责把对应的数据请求转发到对应的Shard服务器上。用户可以选择多个Mongos作为请求的入口，防止其中一个挂掉所有的MongoDB请求都无法操作。...
数据转发到表格存储
您可以使用规则引擎数据流转功能，将数据转发到表格存储（Tablestore）中存储。前提条件 已将设备接入到企业版实例。具体操作，请参见 设备接入和上报数据。已开通表格存储服务。具体操作，请参见 开通表格存储服务。创建数据表 登录 表格...
数据转发到云原生多模数据库Lindorm
您可以配置数据流转的解析规则，将处理过的数据转发到云原生多模数据库Lindorm中。本文以物模型数据上报Topic为例，介绍流转消息数据的完整流程。前提条件 已创建数据源 DataSource，并添加 物模型数据上报 Topic。具体步骤，请参见 添加待...
数据源中心
EMR Workflow的数据源中心支持配置数据源，以满足不同的数据存储和访问需求。本文为您介绍如何创建、编辑和删除数据源。使用限制 数据源所在的集群和运行工作流时选择的集群需要在同一VPC下。创建数据源 进入数据源中心页面。使用阿里云...
数据转发到消息服务（MNS）
当需要对设备数据进行复杂或精细化处理，且单个产品下所有设备或指定设备的消息量小于1,000 QPS时，可以使用云产品流转功能将物联网平台数据转发到消息服务（MNS）中，服务端再从消息服务主题中订阅消息，实现设备端与服务端之间高性能的...
数据标准
数据是由特定的环境产生的，这些环境因素包括生产者、时间、系统等，从而造成了同一个语义的数据，有多种不同的定义方法，给后期进行数据汇集和整合带来障碍。因此，数据处理的前奏就是数据标准化，数据标准作为一个统一的数据共识，在标准...
数据转发到表格存储（Tablestore）
设备元数据（例如设备标签、属性和状态数据）具有高频更新、查询能力要求高等特点，可用于设备管理、设备圈选、设备状态查询，需要支持高并发低延迟的数据更新、多维度检索、地理空间检索以及数据实时计算与分析。表格存储（Tablestore）的...
内置检测模型说明
支持的数据库 RDS、PolarDB、PolarDB-X、OSS和MaxCompute。支持的模型列表 您可以在 数据安全中心控制台 安全态势>策略管理 页面的 异常检测模型 页签下，查看DSC支持的内置检测模型。各模型的详细说明请参见下表。模型类型 模型名称 告警...
01新建模型目录
DWD：全称Data Warehouse Detail，明细数据层，该层数据和源数据基本保持一致，保存着最细粒度的数据，一般存放所有的明细数据，是所有后期分析的数据基础。具有数据量大，查询计算较慢的特点。DWS：全称Data Warehouse Summary，汇总数据...
IPsec-VPN配置概览
单个IPsec连接每秒最多支持传输的数据包数量 12万 pps（每个数据包为256字节）12万 pps（每个数据包为256字节）支持的网络类型 公网 表示通过互联网建立加密隧道。私网 表示基于物理专线的私网连接建立加密隧道。说明 如果您需要基于物理...
创建数据库
概念 实例：实例是虚拟化的数据库服务器。您可以在一个实例中创建和管理多个数据库。数据库：数据库是以一定方式储存在一起、能与多个用户共享、具有尽可能小的冗余度、与应用程序彼此独立的数据集合，可以简单理解为存放数据的仓库。字符...
外部数据
简介 本数据库实现了部分的 SQL/MED 规定，允许我们使用普通 SQL 查询来访问位于本地数据库之外的数据。这种数据被称为外部数据。说明 这种用法不要和外键混淆，后者是数据库中的一种约束 外部数据可以在一个外部数据包装器的帮助下被访问...
数据集成概述
数据集成是稳定高效、弹性伸缩的数据同步平台，致力于提供复杂网络环境下、丰富的异构数据源之间高速稳定的数据移动及同步能力。使用限制 数据同步：支持且仅支持结构化（例如RDS、DRDS等）、半结构化、无结构化（OSS、TXT等，要求具体同步...
管理数据库
创建RDS MariaDB实例后，您需要在实例中创建与您业务相关的数据库。RDS MariaDB支持通过控制台、SQL命令、API接口管理数据库，包括创建、删除数据库。背景信息 概念 实例：实例是虚拟化的数据库服务器。您可以在一个实例中创建和管理多个...
入仓解决方案
入仓解决方案可添加和运行多个实时同步任务、实时迁移任务，实现全量或近实时增量迁移和集成数据，用于满足项目空间内业务场景的数据迁移和集成需求。根据所需的同步效率、同步数据量需求，创建入仓解决方案同步线上库数据。入仓解决方案...
管理数据库
创建RDS MySQL实例后，您需要在实例中创建与您业务相关的数据库。RDS MySQL支持通过控制台、SQL命令、API接口管理数据库，包括创建、删除数据库。背景信息 概念 实例：实例是虚拟化的数据库服务器。您可以在一个实例中创建和管理多个数据库...
DataWorks数据集成
数据集成（Data Integration）是阿里巴巴集团提供的数据同步平台。该平台具备可跨异构数据存储系统、可靠、安全、低成本、可弹性扩展等特点，可为20多种数据源提供不同网络环境下的离线（全量/增量）数据进出通道。关于数据集成的更多信息...
创建同步任务
本文为您介绍如何通过创建同步任务，导出MaxCompute中的数据至MySQL数据源中。前提条件 已通过RDS创建MySQL实例，获取RDS实例ID，并在RDS控制台添加白名单。详情请参见 快速创建RDS MySQL实例 和 添加白名单。说明 如果是通过自定义资源组...
访问外部数据源
背景信息 Databricks数据洞察为了满足您在计算任务里访问您在阿里云上已有的数据，支持通过添加外部数据源的方式，打通集群到您自己VPC下的网络环境。绑定数据源 绑定数据源的本质是打通不同VPC之间的网络，即将数据源集群所在VPC与目标...
物联网设备数据上云存储
如何使用规则引擎转发数据到 TSDB 您可以通过在阿里云物联网平台的控制台上配置规则引擎将物联网平台中的数据转发到时间序列数据库（TSDB）的实例中。具体详情请参见 数据转发到实例内的时序数据存储。注意：目前发布的地域有“华东2”只...
Delta Lake概述
Delta Lake以数据为中心，围绕数据流走向（数据从流入数据湖、数据组织管理和数据查询到流出数据湖）推出了一系列功能特性，协助您搭配第三方上下游工具，搭建快捷、易用和安全的数据湖。背景信息 通常的数据湖方案是选取大数据存储引擎...
概述
若集群中某些库表的数据几乎没有更新、插入和修改操作，且读取频率非常低，如果您有降本需求，可以使用 PolarDB MySQL版 提供的冷数据归档功能，将这部分数据转存至低成本的OSS上存储，以降低数据存储成本。本章节介绍了冷数据归档方法、...
导入概述
为了更好地满足各种不同的业务场景，StarRocks支持多种数据模型，StarRocks中存储的数据需要按照特定的模型进行组织。本文为您介绍数据导入的基本概念、原理、系统配置、不同导入方式的适用场景，以及一些最佳实践案例和常见问题。背景信息...
RDS术语
A AliPG 阿里云支持一系列兼容PostgreSQL的云数据库服务产品，这些云数据库服务采用统一的数据库内核（简称AliPG），AliPG兼容PostgreSQL开源数据库，于2015年正式商用，支持PostgreSQL主流大版本，已稳定运行多年，支撑了大量阿里巴巴集团...
教程概述
使用DataV将RDS MySQL中的数据展示在大屏上。说明 物联网平台转发至DataHub，是因为DataHub可以将数据同步至MaxCompute，为后续数据计算做准备。本案例的整体步骤如下：创建RDS MySQL数据库表。创建DataHub项目。配置物联网平台设备。运行...
RDS术语
DMS Data Management，数据管理，是一种阿里云提供的图形化的数据管理工具，集数据管理、结构管理、访问安全、BI图表、数据趋势、数据轨迹、性能与优化和服务器管理于一体的数据管理服务。支持MySQL、SQL Server、PostgreSQL、MongoDB、...
什么是数据传输服务DTS
数据传输服务DTS（Data Transmission Service）是阿里云提供的实时数据流服务，支持关系型数据库（RDBMS）、非关系型的数据库（NoSQL）、数据多维分析（OLAP）等数据源间的数据交互，集数据同步、迁移、订阅、集成、加工于一体，助您构建...
数据保护机制
注意事项 设置Exception Policy可能存在TOCTOU（Time-of-Check to Time-of-Use）数据泄露问题（即Race Condition问题）：问题描述 假设，用户的数据流出流程如下：（TOC阶段）用户A向项目所有者申请导出表t1的数据。项目所有者对t1的数据...
一键创建OSS数据仓库
系统默认的数据同步时间是00:30，您可以根据业务规律，将数据同步时间设置在业务低峰期，以免同步过程中可能对业务造成的影响。高级选项 自定义设置项，例如过滤字段等。完成上述参数配置后，单击 创建，创建OSS数据仓库。说明 数仓创建...
确定需求
需求分析 在未考虑数据分析师和业务运营人员的数据需求的情况下，单纯根据业务调研结果构建的数据仓库可用性差。完成业务调研后，您需要进一步收集数据使用者的需求，进而对需求进行深度的思考和分析。需求分析的途径有两种：根据与分析师...
确定需求
需求分析 在未考虑数据分析师和业务运营人员的数据需求的情况下，单纯根据业务调研结果构建的数据仓库可用性差。完成业务调研后，您需要进一步收集数据使用者的需求，进而对需求进行深度的思考和分析。需求分析的途径有两种：根据与分析师...
配置同步任务
配置同步任务是将数据源的数据同步到目标表的过程。本文为您介绍如何配置同步任务。配置流程说明 同步任务的配置流程如下图。来源表和目标表均支持多种数据源。数据库类型 数据源 关系型数据库 MySQL、Oracle、Microsoft SQL Server、...
离线同步能力说明
开发和生产隔离：同一个名称的数据源存在开发环境和生产环境两套配置，配置数据同步任务时会使用开发环境的数据源，提交生产运行时会使用生产环境的数据源。您可以通过数据源隔离使其在不同环境隔离使用。离线同步任务配置相关能力 支持的...
创建并管理数据源
若您想在DataWorks操作您的数据库或数据仓库（例如，MaxCompute项目数据），需先在DataWorks的数据源管理页面，将数据库或数据仓库创建为DataWorks的数据源，并将该数据源绑定至DataWorks相应的功能模块使用。例如，同步MaxCompute数据前，...
- 产品推荐
- 这些文档可能帮助您