数据流运维
您可以在数据流运维中心查看数据流的...对于执行中的数据流，可以终止或暂停数据流运行。单击 发布列表 页签，查看数据流的 版本ID，发布人，发布时间、版本 详情 和 DAG图。您还可以选中任意2个 版本ID，单击 版本对比，查看版本的对比信息。
数据流管理
写入到数据流中的每个文档都要求包含一个@timestamp，映射为 date 或者 date_nanos 类型的字段，请确保源端数据存在@timestamp 字段数据，否则写入会报错。说明 如果源数据中没有@timestamp 字段数据，可使用 ingest pipeline 指定_ingest....
配置数据源网络
本文主要介绍Serverless Spark如何配置数据源网络来访问用户VPC网络中的数据。这些数据包括RDS系列、ADB系列、PolarDB系列、MongoDB、Elasticsearch、HBase、E-MapReduce、Kafka以及用户在ECS上自建的各种数据服务等。背景信息 Serverless ...
导入概述
Stream Load适用于导入本地文件，或通过程序导入数据流中的数据，详细信息请参见 Stream Load。同步导入 Routine Load Routine Load（例行导入）提供了一种自动从指定数据源进行数据导入的功能。您可以通过MySQL协议提交例行导入作业，生成...
导入概述
Stream Load适用于导入本地文件，或通过程序导入数据流中的数据，详细信息请参见 Stream Load。同步导入 Routine Load Routine Load（例行导入）提供了一种自动从指定数据源进行数据导入的功能。您可以通过MySQL协议提交例行导入作业，生成...
CREATE STREAM
数据流表中的最小单元为Record，Record有预定义的Schema。数据流表的物理数据存储在流存储的某个指定的Topic上，具体的存储格式可以在With语句中指定。语法 CREATE STREAM(IF NOT EXISTS)table_name('(' tableElement(',' tableElement)*')...
SHOW STREAMS
查询Lindorm流引擎中数据流表的列表信息。语法 说明 查询Lindorm流引擎中数据流表的列表信息也可以使用 LIST STREAMS。SHOW STREAMS;示例 Show Streams;返回结果如下：+-+|ShowStreams|+-+|Stream Name|Stream Topic|Format-originalData|...
Kafka兼容说明
流引擎的流表兼容Kafka协议，支持通过开源Kafka客户端写入数据，也支持通过Kafka生态工具将MySQL、日志等数据投递至流引擎。...将流表中的数据写入Kafka Topic。具体操作，请参见 通过开源Kafka客户端写入Lindorm流引擎数据。
新建PAI_DESIGNER任务
PAI Designer工作流中的读数据表及写数据表中若有跨项目的表的数据访问，不能支持访问的数据表的生产开发环境的自动切换，需指定访问的数据环境。操作步骤 在Dataphin首页，单击顶部菜单栏 研发。按照下图操作指引，进入 新建PAI_DESIGNER...
新建PAI_DESIGNER任务
PAI Designer工作流中的读数据表及写数据表中若有跨项目的表的数据访问，不能支持访问的数据表的生产开发环境的自动切换，需指定访问的数据环境。操作步骤 请参见 数据开发入口，进入 数据开发 页面。按照下图操作指引，进入 新建PAI_...
QoS策略
通过配置QoS策略，确保远程连接企业网络不会因为本地网络中的其他内容而中断。关键数据传输和备份 对于企业来说，定期的数据备份任务对于业务的连续性至关重要，这类大量数据传输业务需要消耗大量的网络带宽以及尽可能低的网络丢包率。因此...
配置仪表盘推送节点
任务编排的仪表盘推送节点通过联动数据分析功能，可以将数据分析的图表直接推送至您（责任人、相关人员）的钉钉、钉钉机器人或邮箱中，免去您前往DMS数据服务查看图表的步骤。本文介绍如何配置仪表盘节点。准备工作 创建并配置仪表盘 登录 ...
CREATE CQ
连续查询（Continuous Query，简称CQ），对Lindorm流引擎中的实时数据进行计算（过滤、转换、增强、聚合），并将计算结果写入到另一个数据流表或者外表中，直到用户执行终止连续查询操作才会停止计算。本文介绍创建连续查询任务的语法。...
SELECT
流引擎兼容Apache Flink SQL的SELECT语句。Apache Flink V1.17.1 SELECT语句详情如下表所示。...Top-N 去重 从数据流中去除重复的行数据。Deduplication 说明 如果您需要查看其它版本Queries语句，请注意切换到对应版本。
数据授权
您授权允许 数据安全中心（DSC...部署在经典网络中的阿里云数据产品外网地址未放行流量的访问控制，导致网络不通。MaxCompute连接授权失败有哪些原因？MaxCompute项目名称输入错误。MaxCompute项目中添加 DSC 账号失败。相关文档 数据资产授权
创建全球数据库网络
全球数据库网络（Global Database Network，简称GDN）是由分布在同一个国家不同地域的多个 PolarDB 集群组成的网络，网络中所有集群的数据均保持同步。当您的业务部署在多个地域时，利用GDN可以实现应用访问数据库的低延迟和高稳定性。本文...
概述
GDN网络中所有集群的数据保持同步，网络中每个集群均提供读服务（写服务会被转发到主集群处理），并且提供异地灾备能力，可满足如下应用场景：异地多活 如果业务部署在多个地域，传统网络下，数据库在主地域，其它地域的应用需要跨地域访问...
通过流引擎实现交易数据实时统计
通过Kafka API写入数据至数据流表中指定的Topic（即order_topic）。import org.apache.kafka.clients.producer.KafkaProducer;import org.apache.kafka.clients.producer.ProducerConfig;import org.apache.kafka.clients.producer....
EMR旧版数据开发迁移公告
迁移流程 通过使用EMR Workflow，您可以轻松将在EMR旧版数据开发中的工作流和任务导出为兼容Apache Dolphinscheduler的工作流描述JSON文件，通过EMR Workflow的导入功能，您可以快速导入工作流和任务，实现快速的迁移，从而节省大量的迁移...
BackFill-给任务编排补数据
2 FilterNodeIds array 否 过滤条件，指定任务流中无需补数据的节点 Id 列表。long 否 任务流中无需补数据的节点 ID。12*IsTriggerSubTree boolean 否 是否运行下游节点。缺省时默认为 true。true BackFillDate string 否 补数据业务时间。...
包年包月
计费公式 在包年包月模式下，您按需选择数据流服务Confluent版本、磁盘容量等配置项完成实例购买，计费从您成功下单开始。数据流服务Confluent版本不同所产生的费用也会存在差异。计算资源：用于Broker读取数据或ksqlDB创建作业，按CU计量...
企业版和标准版功能对比
GDN网络中所有集群的数据保持同步，网络中每个集群均提供读服务（写服务会被转发到主集群处理），并且提供异地灾备能力。支持 不支持 高压缩引擎（X-Engine）阿里巴巴自研的基于LSM-tree架构的存储引擎X-Engine提供了强大的数据压缩能力，...
通过运维中心管理任务流与任务流实例
控制任务流中执行的SQL数量 使用监控与保障功能，可限制多个任务流中的同一个数据库在同一时间执行SQL的数量，保护数据库的稳定性、安全性和可靠性。进入任务编排运维中心。单击 监控与保障，在并发配置页签下，单击 新增。配置 资源类型、...
术语
网络中所有集群的数据保持同步，完全一致。更多详情，请参见 创建与删除全球数据库网络。主集群（Primary Cluster）全球数据库网络（GDN）中只有一个集群拥有读写权限，这个可读可写的集群叫做主集群。从集群（Secondary Cluster）全球数据...
逻辑解码概念
每一个槽有自己的状态，允许不同的消费者从该数据库的更改流中的不同点开始接收更改。对于大多数应用，每一个消费者都将要求一个单独的槽。逻辑复制槽完全不知道接收者的状态。甚至可能会有多个不同的接收者在不同时间使用同一个槽，它们将...
ASP协议
ASP协议优势 ASP协议（Adaptive Streaming Protocol）是一套高性能、高可靠、高安全的协议，其中Streaming是指流式或流化传输，图形命令流、图像流、音视频流均已纳入到ASP协议的设计考虑之中。ASP协议涵盖图像分析、压缩编码、实时流媒体...
DESCRIBE
查询Lindorm流引擎中数据流表或者外表的列信息。语法 DESCRIBE table_name;参数说明 参数 是否必选 说明 table_name 是 数据流表或者外表的名称。示例 DESCRIBE USERS_ORIGINAL;返回结果如下：+|Field|Type-ROWTIME|BIGINT(system)ROWKEY|...
应用场景
实时数据通道 1.1 接入多种异构数据并投递到下游多种大数据系统 通过数据总线，您可以实时接入APP、WEB、IoT和数据库等产生的异构数据，统一管理，并投递到下游的分析、归档等系统，构建清晰的数据流，让您更好的释放数据的价值。...
同步数据
分析型数据库MySQL版支持多种数据加载方式，包括但不限于：通过阿里云数据传输服务DTS将MySQL/DRDS中的数据导入分析型数据库MySQL版，其中MySQL可为RDS for MySQL、其他云厂商或线上IDC的自建MySQL以及ECS自建MySQL。详细操作步骤请参见 ...
管理敏感数据
如果您需要对RDS实例中的敏感数据进行管控和脱敏，可以使用数据管理DMS提供的敏感数据保护功能。费用 请参见 敏感数据保护功能定价。功能介绍 数据管理DMS的敏感数据管理提供如下功能：提供敏感数据资产大盘，解决企业敏感数据分布的统一纳...
数据源管理常见问题
您可以在DataV控制台单击 我的数据>数据源管理，选择+添加数据，进入 添加数据 对话框，选择 CSV文件 类型，输入 自定义数据源名称 并上传一个本地电脑中的CSV文件。上传完成后，您可以在画布编辑器中添加组件，在右侧 数据 面板中的 设置...
数据源管理常见问题
您可以在DataV控制台单击 我的数据>数据源管理，选择+添加数据，进入 添加数据 对话框，选择 CSV文件 类型，输入 自定义数据源名称 并上传一个本地电脑中的CSV文件。上传完成后，您可以在画布编辑器中添加组件，在右侧 数据 面板中的 设置...
什么是边缘流数据分析
边缘计算中的流数据分析，继承了物联网平台的流数据分析能力。在数据分析控制台创建 流数据分析任务，并将该任务下发到边缘端，通过边缘设备实时运行。运行结果可以存储在边缘端，也可以直接传输至云端。说明 仅专业版Link IoT Edge支持流...
数据扫描和识别
已获取授权的情况下，DSC 会登录到数据库内以数据采样的方式对数据进行敏感识别，DSC 不会保存您MaxCompute项目、数据库中的数据。目前存在哪些触发重新扫描的场景？目前，DSC 会在以下场景中自动触发对已授权数据源中的数据进行重新扫描。...
数据页面管理
在管理数据页面中，数据的类型分为 ...上传数据 管理数据页面中的数据类型有 矢量、栅格、地理服务、三维模型、三维瓦片 和 业务数据 六大类，不同类型的数据可上传的数据格式互不相同，具体三种类型数据上传数据的详细说明请参见 上传数据。
审计经典网络数据库实例
创建经典网络中的ECS实例到数据库审计系统所在VPC的ClassicLink连接。在数据库审计系统所在VPC中，开启ClassicLink功能，具体请参见 开启ClassicLink功能。说明 此处操作的VPC实例，请参见 步骤1 中查看结果。在经典网络的ECS中，建立...
数据页面管理
在管理数据页面中，数据的类型分为 ...上传数据 管理数据页面中的数据类型有 矢量、栅格、地理服务、三维模型、三维瓦片 和 业务数据 六大类，不同类型的数据可上传的数据格式互不相同，具体三种类型数据上传数据的详细说明请参见 上传数据。
将时空数据写入宽表引擎
创建计算任务，将数据流表中的数据写入到宽表中。不使用时空函数。CREATE CQ gps_data_cq INSERT INTO gps_data SELECT*FROM gps_data_stream;使用时空函数，支持的时空数据类型和时空函数请参见 空间数据类型 和 函数概览。CREATE CQ gps_...
使用ETL分析实时订单
单击左上角的，在 新增数据流 对话框中，您需在 数据流名称 配置ETL任务名称，选择 开发方式 为 DAG。单击 确认。执行如下操作，配置流表和维表信息。配置流表信息 页面左侧，将 输入/维表 MySQL 节点拖拽至页面右侧画布的空白区域。单击...
数仓开发任务流
配置DTS数据迁移节点 配置离线数据集成节点 数据开发 显示任务流中的数据开发节点：除数据集成节点之外的其他节点。数据开发节点，试运行和发布后的调度功能相同。任务类型介绍 配置DTS位点检查节点 表 数仓表可被其任务流引用并操作，您...
- 产品推荐
- 这些文档可能帮助您