概述
AnalyticDB PostgreSQL版 向量分析可以通过AI算法提取非结构化数据的特征，并利用特征向量作为非结构化数据的唯一标识，帮您快速且低成本地实现对非结构化数据检索和对结构化数据关联分析。向量数据库简介 在现实世界中，绝大多数的数据都...
MapReduce
MapReduce处理数据的完整流程如下：输入数据：对文本进行分片，将每片内的数据作为单个Map Worker的输入。分片完毕后，多个Map Worker便可以同时工作。在正式执行Map前，需要将输入数据进行分片。所谓分片，就是将输入数据切分为大小相等的...
性能测试
本文介绍Ganos时空服务与开源GeoMesa（HBase）、云数据库MongoDB分片集群在处理时空轨迹数据时的性能测试对比。测试环境 本次性能测试中需要准备以下测试数据库，具体配置如下表：数据库 配置说明 云原生多模数据库 Lindorm Ganos引擎（即...
SQL概述
MaxCompute SQL是MaxCompute中用于数据查询和分析的SQL语言，其语法类似于标准SQL，但在标准语法ANSI SQL92的基础上进行了一些扩展和限制以更好地服务于大规模数据仓库的场景。本文为您介绍MaxCompute SQL使用场景、使用向导及支持的工具...
流表
处理时间：流引擎计算处理数据的时间，由系统自动生成。重要 当使用窗口函数时，系统需要通过时间属性来判断数据属于哪个窗口，此时时间属性必须为事件时间或处理时间。创建流表 指定摄取时间 您可以在建表语句中通过 METADATA FROM 语句，...
发现并处理大Key和热Key
热Key的请求压力数量超出 Tair 的承受能力易造成缓存击穿，即大量请求将被直接指向后端的存储层，导致存储访问量激增甚至宕机，从而影响其他业务。大Key和热Key产生的原因 未正确使用 Tair 命令、业务规划不足、无效数据的堆积、访问量突增...
添加处理后数据到数据管理
数据处理后，需要将处理后的数据添加到数据管理中，以便被用于数仓建设、标签管理等数据中台任务。本文以倾斜数据处理后为例，介绍如何添加处理后数据到数据管理。前提条件 已新建数据处理任务，具体操作，请参见 新建数据处理任务。操作...
配置学区地图区域热力层交互
{"id":xxx,"name":"xxx小学","distance":"","public_or_private":"","is_primary":1,"is_middle":0,"is_nursery":0,"is_high":0,"location":"","address":"","logo":""} 使用同样的方式，配置其他四个 串行数据处理 节点，示例代码如下。...
配置学区地图区域热力层交互
{"id":xxx,"name":"xxx小学","distance":"","public_or_private":"","is_primary":1,"is_middle":0,"is_nursery":0,"is_high":0,"location":"","address":"","logo":""} 使用同样的方式，配置其他四个 串行数据处理 节点，示例代码如下。...
计费说明-全托管
000 4500 60C240G 101,500 5000 60C240G 110,000 数据处理单元统计规则：数据处理单元总量=（数据同步任务数+数据集成任务数）/3+计算任务数（离线和实时）+明细逻辑表总数+[向上取整（指标数/10）]其中：前200个数据集成任务不纳入统计，...
接入阿里云ECS自建数据库实例
无法连接：可能是网络不通、实例宕机等原因。认证失败：用户名或者密码错误。权限不足：可以正常连接实例，但是权限不足，请查看 权限说明。单击 完成。集中模式接入 登录 DAS控制台。在控制台首页的 热荐功能 区域单击 快速实例接入。单击...
包年包月
欠费影响 如果您购买的服务已到期，您账户下的流数据处理Confluent服务会立即停机，即您将不能再继续使用流数据处理Confluent服务。如果停机后168小时依然欠费，流数据处理Confluent实例将会释放，实例释放后数据不可恢复，即您不能再使用...
配置学区地图Tab列表交互
在 id=2：初中 的 串行数据处理 节点与 公办初中点 和 民办初中 的连线中分别添加两个 串行数据处理 节点，并分别命名为 schooltype=公办 和 schooltype=民办。串行数据处理 节点添加完成后，最终效果实现双重判断标准，部分截图如下所示。...
配置学区地图Tab列表交互
在 id=2：初中 的 串行数据处理 节点与 公办初中点 和 民办初中 的连线中分别添加两个 串行数据处理 节点，并分别命名为 schooltype=公办 和 schooltype=民办。串行数据处理 节点添加完成后，最终效果实现双重判断标准，部分截图如下所示。...
配置学区地图轮播列表交互
连线完成后，每条连线中间会自动添加一个 串行数据处理 节点，将节点分别命名为 提取散点数据 和 地图父组件定位缩放。具体操作方法请参见 什么是蓝图编辑器。将 初中学校列表 和 小学学校列表 的 当点击单行时 事件分别与 提取散点数据 和...
实现时间戳联动
本文档以 时间器 组件和 通用标题 组件之间...串行数据处理 节点负责将上游抛出的事件内容进行加工处理，传递给 通用标题 组件作为请求时的 query 参数，也就是替换掉第二步操作中填写的 变量名。单击页面右上角的 预览 图标，预览展示结果。
接入其他自建或其他云厂商数据库实例
本文介绍如何在数据库自治服务DAS上接入除阿里云外的其他自建数据库，包括用户本地机房数据库、其他云厂商的数据库和其他云厂商虚拟机上的自建数据库。前提条件 DAS目前支持接入的自建数据库引擎：MySQL MongoDB PostgreSQL Redis 说明 ...
实现传递动态参数
将区域热力层节点、Tab列表节点、全局变量节点和 逻辑节点 页签下的1个串行数据处理节点添加到蓝图主画布中。连接组件。配置串行数据处理节点的处理方法。return data.content;单击页面右上角的 预览 图标，预览展示结果。
流式ETL
在降低开发门槛和业务系统影响的同时提升效率，丰富企业实时数据处理和计算场景，赋能企业数字化转型。为什么选择ETL ETL支持通过DAG模式和Flink SQL模式配置任务。DAG模式 可视化处理编辑：ETL任务界面当前提供三种组件（输入/维表、转换...
什么是ETL
在降低开发门槛和业务系统影响的同时提升效率，丰富企业实时数据处理和计算场景，赋能企业数字化转型。为什么选择ETL ETL支持通过DAG模式和Flink SQL模式配置任务。DAG模式 可视化处理编辑：ETL任务界面当前提供三种组件（输入/维表、转换...
产品优势
通过资源组分时弹性和按需弹性，在数据分析和数据处理之间实现计算资源倾斜，提高资源利用率，降低资源成本。湖仓版（3.0）支持体验一体化。通过统一 计费单位、统一元数据和 权限、统一开发语言、统一传输链路，提升开发效率。Serverless ...
租户设置
说明 如果您的租户不支持恢复，可能的原因有以下几种情况：已使用的数据处理单元数大于剩余的可分配的数据处理单元。已使用的质量规则数大于剩余的可分配的质量规则数。租户功能存在降配的情况。租户已配置的调度资源（CPU或内存）超过系统...
Kafka实时入湖
本文为您介绍如何在数据湖构建（Data Lake Formation，简称DLF）中使用Kafka实时入湖任务将数据同步到数据湖中。重要 数据入湖功能已经停止更新，如果您有数据入湖需求请参考：数据入湖停止更新公告。前提条件 已开通数据湖构建服务，尚未...
数据处理
数据处理类节点包括串行数据处理节点。本文介绍在蓝图编辑器中，配置数据处理类节点的方法。串行数据处理节点 串行数据处理 节点，是使用串行方式来处理一个事件。使用场景：例如，小数0.835要转换成整数百分比83%，可经过：单位转换（83.5...
数据集成概述
数据集成是基于Dataphin构建的简单高效的数据同步平台，致力于提供具有强大的数据预处理能力、丰富的异构数据源之间数据高速稳定的同步能力。背景信息 面对各行各业对大数据的应用，数据集成会有很多的诉求，包括能够简单高效的配置大量...
创建Kudu数据源
Kudu适用HTAP场景（例如物联网），对于数据处理系统的复杂性提出了更高的要求。从早期的OLTP、OLAP拆分，到后来的Lambda架构，都存在数据复制和同步的复杂性，而Kudu的单一数据架构，规避了传统架构数据复制和同步的复杂性。更多详情请参见...
基于MaxCompute进行大数据BI分析
本实践以电商行业为例，通过MaxCompute、DataWorks对业务数据和日志数据进行ETL处理，并同步至分析型数据库MySQL（AnalyticDB MySQL）进行实时分析，再通过Quick BI进行可视化展示。背景信息 MaxCompute：用于进行大规模数据计算，详情请...
Kafka实时ETL同步至Hologres
目前提供5种数据处理方式，您可根据需要做顺序编排，在任务运行时会按照编排的数据处理先后顺序执行数据处理，5种数据处理方式包括：数据脱敏、字符串替换、数据过滤、JSON解析 和 字段编辑与赋值。每完成一个数据处理节点配置，可以单击右...
可用性与可靠性
异常时自动切换节点，宕机时自恢复来保证极致的可用性，还可以通过备份恢复来进行数据恢复。主备多副本与云盘三副本 AnalyticDB PostgreSQL版 是基于MPP架构的分布式数据库，对于所有的分布式系统来说，在通过分布式来增强性能的同时，也...
什么是图数据库GDB?
图数据库（Graph Database，简称GDB）是一种支持Property Graph图模型、用于处理高度连接数据查询与存储的实时、可靠的在线数据库服务。它支持Apache TinkerPop Gremlin查询语言，可以帮您快速构建基于高度连接的数据集的应用程序。图数据...
公共节点
公共节点是可被多个数据开发场景复用的计算节点。公共节点本文为您介绍如何使用公共节点。前提条件 您已创建用于进行节点运行、部署、上线的云计算资源，具体操作，请参见 新建云计算资源。背景信息 计算节点是用于定义不同数据类型处理...
InfluxDB®️介绍
云数据库 InfluxDB®版是一款专门处理高写入和查询负载的时序数据库，完全兼容开源InfluxDB 1.8版本，用于存储大规模的时序数据并进行实时分析，包括来自DevOps监控、应用指标和IoT传感器上的数据。主要特点 InfluxDB®是您处理时序数据的...
数据集成概述
数据集成是基于Dataphin构建的简单高效的数据同步平台，致力于提供具有强大的数据预处理能力、丰富的异构数据源之间数据高速稳定的同步能力。背景信息 面对各行各业对大数据的应用，数据集成会有很多的诉求，包括能够简单高效的配置大量...
面临的业务挑战
数据来源上包含数据库数据、日志数据、对象数据以及已有数仓上的存量数据等。这些不同来源、不同格式的数据，各自又有不同的访问和分析方式，而大量传统企业基于关系数据库构建自己的业务系统，已经非常熟悉按SQL的方式去使用数据，这无疑...
数据质量教程概述
在整体数据链路的处理过程中，为保证最终产出数据的质量，您需要对数据仓库ODS、CDM和ADS层的数据分别进行监控。数据仓库分层的定义请参见 数仓分层。本教程基于 搭建互联网在线运行分析平台 教程，ods_user_trace_log、dw_user_trace_log...
导入概述
Insert Into导入 手工测试及临时数据处理时可以使用 Insert Into 方法向StarRocks表中写入数据。其中，INSERT INTO tbl SELECT.;语句是从StarRocks的表中读取数据并导入到另一张表，INSERT INTO tbl VALUES(.);语句是向指定表里插入单条...
数据迁移与同步FAQ
本文为您列出数据迁移与数据同步的常见问题和相关解答。什么是数据迁移、数据同步？DTS的数据迁移与数据同步工作原理是什么？DTS的数据迁移与数据同步有什么区别？使用DTS遇到预检查报错，如何解决？什么是数据迁移、数据同步？数据迁移：...
创建HDFS数据源
通过创建HDFS数据源能够实现Dataphin读取HDFS的业务数据或向HDFS写入数据。本文为您介绍如何创建HDFS数据源。背景信息 HDFS集群由NameNode和DataNode构成master-worker（主从）模式：NameNode用于构建命名空间，管理文件的元数据等。...
导入概述
Insert Into导入 手工测试及临时数据处理时可以使用 Insert Into 方法向StarRocks表中写入数据。其中，INSERT INTO tbl SELECT.;语句是从StarRocks的表中读取数据并导入到另一张表，INSERT INTO tbl VALUES(.);语句是向指定表里插入单条...
导出数据
配置项 说明 原因类别 选择数据导出的原因，方便后续查找。业务背景 详细描述变更原因或目标，减少沟通成本。相关人 设置的相关人员可查看工单，并协同工作，非相关人员则不能查看工单（管理员、DBA除外）。导出SQL语句 输入导出SQL语句。...
- 产品推荐
- 这些文档可能帮助您