流数据分析相关问题
本章描述流数据分析及其任务相关的一些常见问题。查看任务运行状态 在远程控制台执行如下命令：/linkedge/gateway/build/bin/lectl sc show 系统返回类似如下内容，若 running 参数值为 true，则表示任务正在运行中。TOTALCOUNT 02=-01-ID:...
什么是边缘流数据分析
流数据分析是一种使用流的方法快速实时处理数据的计算方式。边缘计算中的流数据分析，继承了物联网平台的流数据分析能力。在数据分析控制台创建 流数据分析任务，并将该任务下发到边缘端，通过边缘设备实时运行。运行结果可以存储在边缘端...
分配流数据分析到边缘实例
本文介绍创建流数据分析任务、发布任务和分配流数据分析任务到边缘实例的整个步骤。前提条件 请您确保已创建完成边缘实例，具体操作请参见 专业版环境搭建。操作步骤 登录 数据分析控制台。创建、设置并发布流数据任务。具体操作，请参见 ...
如何解决查询分析与流处理两种场景下的数据口径差异
通过记录这两种时间戳，我们可以在日志服务中进行不同的操作和分析，适用于两种不同的使用场景：查询和分析 在常见的业务场景中，使用_time_字段可以按照日志时间进行查询和排序，以便在特定时间范围内检索和分析日志数据。流处理功能 使用...
数据流管理
注意事项 Indexing Service 按照写入托管索引总大小和写入流量进行按量计费，业务上建议使用数据流（Data Stream）和索引生命周期管理（ILM）滚动策略实现云端托管空间最优化。Indexing Service托管索引默认3天将自动取消托管，请根据具体...
概述
流数据分析提供了连接边缘端消息总线的能力，您可以通过配置消息路由将设备数据传入到流数据分析中，利用流数据分析方便地对设备数据进行实时计算，并将结果输出到RDS、本地文件、函数计算或IoTHub中。本使用示例将会从多个使用场景来讲述...
概述
在流数据分析中，数据存储用源表、维表、结果表来表示。但由于运行环境不一样，边缘端与云端支持的数据存储大部分是不相同的。类型 描述 源表 流式数据存储，驱动流数据分析的运行。每个流数据分析任务必须提供至少一个流式数据存储。边缘...
高温报警
本文以高温报警（传感器温度>80度时，输出报警信息到本地文件中）的场景为例，详细说明如何使用SQL进行流数据分析作业的编写以及流数据分析作业如何运作。流程图如下所示。前提条件 请您确保已创建边缘实例，具体操作请参见 专业版环境搭建...
ACL授权
ACL授权主要有两种方式：使用数据流服务Confluent控制台实现ACL授权。本文详细介绍这一授权方式。使用Confluent CLI实现ACL授权。操作指引请参见 使用Confluent CLI进行ACL管理。管控侧ACL授权步骤 首先登录 流数据服务Confluent管控页，...
产品简介
什么是Confluent Platform Confluent Platform 是一个全面的数据流企业级平台，使您能够以连续、实时的流形式轻松访问、存储和管理数据。Confluent 由 Apache Kafka 的原始创建者构建，通过企业级功能扩展了 Kafka 的优势，同时消除了 ...
附录：预设角色权限列表（空间级）
开发 运维 部署 访客 安全管理员 模型设计师 查看数据分析产品页面 有 有 有 有 有 有 有 有 有 使用数据分析产品 有 有 有 有 有 有 无 有 有 说明 自定义角色 默认无 数据分析师 角色权限，该类角色如果需要使用数据分析产品，请联系 ...
用户价值
业务应用方 应用开发 业务分析 使用数据资产获得业务价值 更便捷的使用数据和算法资源：通过统一服务，应用开发人员可以快速开发数据智能应用，提高智能应用开发效率，发挥数据价值。自主挖掘数据的业务价值：通过画像分析、业务模型编辑器...
SQL查询
数据源白名单访问控制 当使用数据分析操作MaxCompute表数据时，如果MaxCompute项目空间开启了白名单访问控制，数据分析的相关服务（例如，费用计算、数据下载、维表使用、数据上传等）可能会出现报错。为保证DataWorks数据分析服务能顺利...
网络访问与安全设置
阿里云VPC访问 VPC访问是指您在流数据服务Confluent集群所在网络VPC内或者其它VPC访问和使用流数据服务Confluent集群。此时，除Control Center提供公网访问方式外，其它集群组件无法从公网访问。公网访问 公网访问是指您可以在公网外访问和...
数据上传
本文为您介绍如何使用数据上传功能上传数据。使用限制 数据来源限制：仅支持上传 本地文件、DataWorks数据分析的电子表格、阿里云对象存储OSS 的数据。本地文件：支持 CSV、XLSX 格式，CSV 文件最大支持上传数据的数据量为5GB，XLSX 文件...
数据统计
如何进行下行播流数据分析 您可以通过播流的带宽流量、状态码、独立访客数、用户分布等数据进行播流数据分析。名称 说明 查询方式 实时流量带宽 播流域名下某个区域、运营商、时间段内的实时带宽流量。说明 您可以按照以下步骤通过 视频...
产品概述
动态伸缩 每个主题（Topic）的数据流吞吐能力可以动态扩展和减少，最高可达到每主题256000 Records/s的吞吐量。高安全性 提供企业级多层次安全防护，多用户资源隔离机制；提供多种鉴权和授权机制及白名单、主子账号功能。使用场景 数据总线...
OSS Foreign Table功能概览
OSS Foreign Table（简称OSS FDW）是基于PostgreSQL ...支持 不支持 相关文档 使用OSS Foreign Table进行数据湖分析 使用OSS Foreign Table导出数据 使用OSS Foreign Table分区表 OSS Foreign Table使用技巧 OSS Foreign Table数据类型对照表
数据下载
前提条件 已通过如下模块执行数据下载操作：数据分析>查询下载：在数据分析中使用SQL语句查询并下载数据。详情请参见 SQL查询。数据分析>电子表格：在数据分析中使用电子表格下载数据。详情请参见 下载电子表格。数据开发>查询下载：在数据...
数据流运维
您可以在数据流运维中心查看数据流的发布状态、发布详情、运行记录等。登录 数据管理DMS 5.0。在顶部菜单栏中，选择 集成与开发（DTS）>数据集成>离线集成。单击数据流名称，进入数据流详情页面。单击画布右上方 前往运维。在数据流运维...
发布数据流
完成数据流的配置或变更后，您需要通过发布操作将最新的数据流发布，有效避免部分变更未经确认被直接发布。登录 数据管理DMS 5.0。在顶部菜单栏中，选择 集成与开发（DTS）>数据集成>离线集成。单击数据流名称，进入数据流详情页面。可选：...
CREATE STREAM
创建一张数据流表，表示一个无界的事件集合。数据流表仅支持新增数据，不支持更新数据和删除数据。数据流表中的最小单元为Record，Record有预定义的Schema。数据流表的物理数据存储在流存储的某个指定的Topic上，具体的存储格式可以在With...
BI分析功能简介
BI分析可以通过灵活，零代码，自动化的方式使用数据、分析数据和产出视图。BI分析功能主要包括以下三个部分：DataV数据集：创建完成某个数据集后，可使用其中的各种数据查询和建模能力，BI分析提供方便快捷的组件分析模式，让用户可以在...
DeleteDataStream
调用DeleteDataStream，删除数据流。仅适用于日志增强版实例。说明 删除数据流的同时会删除其对应的后备索引，请谨慎操作。索引模板存在关联的数据流时，需要先删除关联该索引模板的数据流，才能删除索引模板。在数据流列表页需要查看数据...
构建数据仓库
DataWorks具有通过可视化方式实现数据开发、治理全流程相关的...历史离线数据存放于MaxCompute，实时分析数据存放于交互式分析。基于阿里云Quick BI或第三方数据分析工具（如Tableau）执行数据可视化，以及构建各业务板块数据服务门户应用。
Spark概述
架构 Spark架构如下图所示，基于Spark Core构建了Spark SQL、Spark Streaming、MLlib和Graphx四个主要编程库，分别用于离线ETL（Extract-Transform-Load）、在线数据分析、流计算、机器学习和图计算等场景，详情请参见 Apache Spark官网。...
CreateDataStream
调用CreateDataStream，创建数据流。仅适用于日志增强版实例。说明 您创建的数据流名称需要与索引模板中的索引模式一一对应，且该索引模板已开启数据流。例如：索引模板中的索引模式为ds-*，则对应的数据流名称应该为ds-。调试 您可以在...
数据可视化展现
在数据分析中使用数据源，需要先给数据源授权，您可以进入 安全中心>安全策略>数据查询与分析管控>可查询数据源 界面，找到需要查询的数据源，单击 操作 列的 授权，为您的账号授权，详情请参见 安全中心。创建 临时文件。方式一：首次进入...
使用流程
云原生数据湖分析DLA（Data Lake Analytics）是无服务器（Serverless）化的云上交互式查询分析服务，支持通过Presto和Spark引擎分析多种数据源中的数据。快速入门旨在介绍如何开通DLA、构建数据湖、调用Presto和Spark引擎进行数据分析与...
创建数据流
在数据管理DMS离线集成中，可以组合各类任务节点，形成数据流，通过周期调度运行达到数据加工、数据同步的目的。本文介绍创建数据流和配置的方法。前提条件 支持的数据库类型：MySQL：RDS MySQL、PolarDB MySQL版、MyBase MySQL、PolarDB...
DROP STREAM
删除数据流表。语法 DROP STREAM(IF EXISTS)table_name;参数 参数 是否必选 说明 table_name 是 数据流表的名称。示例 DROP STREAM users_original;
使用数据集成迁移数据到AnalyticDB MySQL 2.0
操作步骤 下面以RDS for SQLServer数据源为例，介绍如果如何通过数据集成把数据同步到 云原生数据仓库AnalyticDB MySQL版 2.0集群中，使用分析型数据库MySQL版进行数据分析。配置SQLServer数据源 配置分析型数据库MySQL版数据源 配置同步...
什么是云数据库SelectDB版
云数据库SelectDB版 是新一代实时数据仓库 SelectDB 在阿里云上的全托管服务，您可以在阿里云上便捷地购买 SelectDB 数仓服务，满足海量数据分析需求。产品优势 高性价比 高性能：支持亚秒级响应海量数据查询、万级高并发点查询以及高吞吐...
游戏运营融合分析
降低使用成本：DLA融合冷数据分析+ADB存储密集型温数据分析+ADB计算密集型热数据分析，在满足各种分析场景需求的同时，有效地降低客户的总体使用成本。学习成本低：Data Lake Analytics（简称DLA）和ADB兼容标准SQL语法，无需额外学习其他...
ListDataStreams
调用ListDataStreams，用于查看数据流列表。仅适用于日志增强版实例。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求头 该接口使用公共请求头，无特殊...
数据分析作业
MaxCompute是适用于数据分析场景的企业级SaaS模式云数据仓库，支持在多种工具上使用MaxCompute运行大数据计算分析作业。如果您需要进行简单的查询等数据分析作业，推荐您使用SQL查询或DataWorks的临时查询等工具，高效便捷地完成数据分析...
DataV分析模式介绍
本教程主要介绍DataV分析模式的基本概念，帮助用户以灵活、0代码、自动化的方式使用数据和分析数据，支持数据的下钻和联动分析。前提条件 在您了解组件分析模式这部分内容前，您需要提前了解DataV6.0数据集：请参见 DataV6.0数据集介绍。...
与Spark集成分析
用户可以通过DLA Ganos实现Spark加载HBase中的...在GeometryRDD基础上，DLA Ganos基于SparkSQL设计了一系列用于空间数据表达的UDT与UDF或UDAF，允许用户使用类似SQL结构化查询语言进行数据的查询与分析。详细内容请参考：数据湖时空引擎Ganos
- 产品推荐
- 这些文档可能帮助您