计算设置概述
Fusioninsight Flink Fusioninsight Flink 是一种基于Apache Flink的流式处理引擎，可以实现高速数据流的实时计算和分析。Blink独享版 Blink是阿里云实时计算引擎。重要 该版本在公共云已停售，请谨慎选择。计算设置入口 在Dataphin首页，...
步骤二：实时项目规划
在 新建MySQL数据源 对话框，配置数据源信息。参数 描述 数据源名称 输入为 flink_dataphin。版本 选择为 MySQL8。数据源描述 填写数据源简单描述。例如，实时研发的来源数据。数据源配置 选择“生产”数据源。标签 默认 不填。JDBC URL ...
步骤二：实时项目规划
在 新建MySQL数据源 对话框，配置数据源信息。参数 描述 数据源名称 输入为 flink_dataphin。版本 选择为 MySQL8。数据源描述 填写数据源简单描述。例如，实时研发的来源数据。数据源配置 选择“生产”数据源。标签 默认 不填。JDBC URL ...
CREATE STREAM
tableProperties 是 指定数据流表的属性，包括以下配置项：VALUE_FORMAT：必选项，指定数据源写入Lindorm流引擎的数据格式，包括CSV、Avro、JSON等格式。KEY_VALUE：必选项，指定数据流表的主键列。STREAM_TOPIC：必选项，指定数据流表的...
参考：渐进式计算
渐进式计算（Progressive Computing）是处于传统的流计算和批处理之间的一种计算方式，具有高资源利用率和低延迟的优势。本文为您介绍渐进式计算的基础配置、作业调优配置以及使用示例。背景信息 渐进式计算能够处理增量数据并维护中间结果...
产品概述
动态伸缩 每个主题（Topic）的数据流吞吐能力可以动态扩展和减少，最高可达到每主题256000 Records/s的吞吐量。高安全性 提供企业级多层次安全防护，多用户资源隔离机制；提供多种鉴权和授权机制及白名单、主子账号功能。使用场景 数据总线...
配置流程
单击左上角的，在 新增数据流 对话框中，您需在 数据流名称 配置ETL任务名称，选择 开发方式 为 DAG。单击 确认。根据页面信息完成ETL任务配置。创建ETL任务。说明 下文以 输入/维表 MySQL、字段计算器 和 输出 MySQL 节点为例进行介绍。源...
配置数据源
本文为您介绍如何配置数据源。前提条件 为了保障数据源和服务资源组之间的正常数据访问，需要完成网络连通与白名单的配置，否则将无法正常执行数据服务的相关任务。公共资源组网络配置，请参见 获取白名单IP地址：公共资源组。独享服务资源...
图层配置项说明
本文对三维城市构建器项目内的图层配置项进行了概括性说明...说明 如果 数据项目 和 数据集 配置项内没有任何可供配置数据类型的内容，请您单击面板内 前往空间构建平台管理数据 处，进入空间构建平台配置数据。详情请参见 空间数据管理概览。
创建MySQL数据源
数据源编码 配置数据源编码后，您可以在Flink_SQL任务中通过 数据源编码.表名称 或 数据源编码.schema.表名称 的格式引用数据源中的表；如果需要根据所处环境自动访问对应环境的数据源，请通过${数据源编码}.table 或${数据源编码}.schema....
BI分析模式数据面板功能介绍
配置图表字段映射 在BI分析模式组件 数据 面板右侧的 图表配置 区域，可以配置数据集字段映射到图表中的效果。目前仅支持配置数字和字符串类型的字段。具体功能操作如下：功能 说明 映射或替换字段 首次映射图表字段：单击并拖动 字段 列表...
创建IBM DB2数据源
数据源编码 配置数据源编码后，您可以在Flink_SQL任务中通过 数据源编码.表名称 或 数据源编码.schema.表名称 的格式引用数据源中的表；如果需要根据所处环境自动访问对应环境的数据源，请通过${数据源编码}.table 或${数据源编码}.schema....
访问数据库
为了解决上述难题，您可以将数据库放置于安全的VPC中，为函数所在的服务配置允许访问该VPC内资源的功能，然后将在函数计算中配置的交换机网段添加至数据库访问白名单，即可通过VPC安全地访问您的云数据库。函数计算访问数据库工作流程如下...
DataHub单向触发器
然后在Topic详情页面，单击右上角的 同步，通过创建 函数计算 Connector的方式配置数据同步功能，便可以在 函数计算 中使用DataHub数据。步骤一：配置函数入口测试参数 DataHub触发函数执行时，同步的信息以event的形式作为输入参数，通过...
创建PolarDB数据源
数据源编码 配置数据源编码后，您可以在Flink_SQL任务中通过 数据源编码.表名称 或 数据源编码.schema.表名称 的格式引用数据源中的表；如果需要根据所处环境自动访问对应环境的数据源，请通过${数据源编码}.table 或${数据源编码}.schema....
通过向导模式配置离线同步任务
开发流程 步骤一：新建离线同步节点 步骤二：配置同步网络链接 步骤三：配置数据来源与去向 步骤四：配置字段映射关系 步骤五：配置通道 步骤六：配置调度属性 步骤七：提交并发布任务 步骤一：新建离线同步节点 创建业务流程。详情请参见...
什么是物联网边缘计算
提供的路由路径如下：设备至IoT Hub 设备至函数计算 设备至流数据分析 函数计算至函数计算 函数计算至IoT Hub 流数据分析至IoT Hub 流数据分析至函数计算 IoT Hub至函数计算 断网续传 边缘计算节点在断网或弱网情况下提供数据恢复能力。...
API概览
UpdateVsPullStreamInfoConfig 更新拉流信息配置 更新拉流信息，修改已经添加的拉流任务中的源站地址的开始时间和结束时间。DescribeVsPullStreamInfoConfig 获取拉流信息配置 查询域名下拉流配置信息。DescribeVsStreamsOnlineList 查询...
数据流运维
在数据流运维页面上方，查看数据流的 创建时间、修改时间、调度配置 情况、是否发布 状态等基本信息。单击 运行记录 页签，选择 调度触发 或 手动触发，查看数据流运行记录。说明 调度触发：通过调度或指定时间的方式运行数据流。手动触发...
配置MySQL输入
已配置数据同步资源组与数据库的网络连通，详情请参见 配置资源组与网络连通。使用限制 数据集成不支持同步MySQL只读库实例的数据。DataWorks的数据集成实时同步MySQL数据是基于实时订阅MySQL实现的，实时同步MySQL数据目前仅支持配置MySQL...
配置离线数据集成节点
源表配置 数据过滤 填写WHERE过滤语句。支持使用变量。推荐分片字段 默认取值为 自动。最大并发数量 选择最大并发数量，默认取值为4。说明 DMS 限制单个租户的并发Spark任务数量，超过4后，任务将会排队执行。目标表配置 导入数据前置行为 ...
开通数据订阅
数据订阅功能可以帮助您获取Lindorm的实时增量数据，及时掌握数据的变化情况。您可以在Lindorm管理控制台开通数据订阅功能，并根据自身业务需求消费增量数据，搭建多种业务场景。本文介绍在控制台开通数据订阅功能的方法。前提条件 已开通...
如何对JSON类型进行高效分析
IMCI）功能推出了完备的虚拟列与列式JSON功能等，可以快速处理大数据和多种数据类型（包括结构化数据与半结构化数据等），并提供高效的数据分析、查询与流计算能力，适用于数据分析、数据仓库与扩展流计算等应用场景。针对海量半结构化数据...
新手必读
设备 目前非RTMP接入的空间，都有设备的概念，设备信息如下 添加设备（国标空间）国标ID IPC用户自己配置/NVR、下游平台配置通过国标协议同步给视图计算产品 设备ID 视图计算产品生成 流ID 视图计算产品生成 流名称 国标空间设备流名称同...
创建TiDB数据源
数据源编码 配置数据源编码后，您可以在Flink_SQL任务中通过 数据源编码.表名称 或 数据源编码.schema.表名称 的格式引用数据源中的表；如果需要根据所处环境自动访问对应环境的数据源，请通过${数据源编码}.table 或${数据源编码}.schema....
创建TiDB数据源
数据源编码 配置数据源编码后，您可以在Flink_SQL任务中通过 数据源编码.表名称 或 数据源编码.schema.表名称 的格式引用数据源中的表；如果需要根据所处环境自动访问对应环境的数据源，请通过${数据源编码}.table 或${数据源编码}.schema....
【产品变更】原RDS触发器下线通知
函数计算原RDS触发器将于2023年01月31日下线，建议您使用函数计算提供的最新RDS触发链路，即 云数据库RDS>数据传输服务DTS>事件总线EventBridge>函数计算。本文介绍RDS触发器的最新链路配置步骤以及Event参数的差异性。前提条件 已准备配置...
新建开发环境场景并运行
节点流程中所有节点的输入、输出数据都是具体的数据表、文件、数据流。步骤一：新建开发环境场景 登录企业数据智能平台。在页面左上角，单击 图标，选择 协同。在顶部菜单栏，单击 图标，选择目标工作组，单击 资产加工。说明 若您已在 ...
新建开发环境场景并运行
节点流程中所有节点的输入、输出数据都是具体的数据表、文件、数据流。步骤一：新建开发环境场景 登录 数据资源平台控制台。在页面左上角，单击 图标，选择 协同。在顶部菜单栏，单击 图标，选择目标工作组，单击 资产加工。说明 若您已在 ...
数据保护伞入门
操作流程 步骤一：配置数据分类分级 用于对您当前的数据按照数据价值、内容敏感程度、影响和分发范围进行敏感级别划分。不同敏感级别的数据管控原则和数据开发要求存在差异。步骤二：配置敏感数据识别规则 根据数据的来源、用途，定义数据...
新建ArgoDB数据源
数据源编码 配置数据源编码后，您可以在Flink_SQL任务中通过 数据源编码.表名称 或 数据源编码.schema.表名称 的格式引用数据源中的表；如果需要根据所处环境自动访问对应环境的数据源，请通过${数据源编码}.table 或${数据源编码}.schema....
产品简介
什么是Confluent Platform Confluent Platform 是一个全面的数据流企业级平台，使您能够以连续、实时的流形式轻松访问、存储和管理数据。Confluent 由 Apache Kafka 的原始创建者构建，通过企业级功能扩展了 Kafka 的优势，同时消除了 ...
通过Flink SQL模式配置ETL任务
单击左上角的，在 新增数据流 对话框中，您需在 数据流名称 配置ETL任务名称，选择 开发方式 为 FlinkSQL。单击 确认。在 数据加工 页面的 数据流信息 部分，添加源库和目标库。参数 说明 地区 选择数据源所在地域。类型 选择库表类型。...
RTMP视频流播放器
数据源 单击 配置数据源，可在 设置数据源 面板中修改数据源类型和数据查询代码、预览数据源返回结果以及查看数据响应结果，详情请参见 配置资产数据。数据过滤器 数据过滤器提供数据结构转换、筛选和一些简单的计算功能。单击 添加过滤器...
数据接口配置说明
配置数据接口 在 数据接口设置 页签中，系统默认情况下会自带配置一个数据接口示例，您可以自定义按操作配置数据接口内容。操作 说明 展开数据接口详细信息列表 单击示例数据接口右侧的 图标，即可打开当前数据接口的详细配置信息列表。...
基本概念
节点任务流程中所有计算节点的输入、输出数据都是具体的数据表、文件和数据流。开发场景与生产场景：每个工作区都有一个开发场景和一个生产场景，它们是两套独立的资源配置。数据开发工程师只能在开发环境中注册计算节点，配置节点任务流程...
流式ETL
实时计算场景：对业务侧产生的流数据实时清洗处理，形成特征值、标签支持在线业务计算模型（画像、风控、推荐等）或实时大屏等流计算场景。优惠活动 目前ETL功能处于公测阶段，每个账号可以免费创建两个ETL实例，且每个实例在公测期间均...
配置Teradata输入组件
同步Teradata数据源的数据至其他数据源的场景中，您需要先配置Teradata输入组件读取的源数据源信息，再配置数据同步的目标数据源。本文为您介绍如何配置Teradata输入组件。前提条件 已创建Teradata数据源，如何创建，请参见 创建Teradata...
图层配置项说明
说明 如果 数据项目 和 数据集 配置项内没有任何可供配置数据类型的内容，请您单击面板内 前往空间构建平台管理数据 处，进入空间构建平台配置数据。详情请参见 空间数据管理概览。一键生成区块接口 选中 数据图元组件、栅格瓦片、地形瓦片...
图层配置项说明
说明 如果 数据项目 和 数据集 配置项内没有任何可供配置数据类型的内容，请您单击面板内 前往空间构建平台管理数据 处，进入空间构建平台配置数据。详情请参见 空间数据管理概览。一键生成区块接口 选中 数据图元组件、栅格瓦片、地形瓦片...
- 产品推荐
- 这些文档可能帮助您