对接使用CDH与CDP
以下简称 CDH）与CDP（Cloudera Data Platform，以下简称CDP）集群对接的能力，在保留CDH集群或CDP集群作为存储和计算引擎的前提下，您可以使用DataWorks的任务开发、调度、数据地图（元数据管理）和数据质量等一系列的数据开发和治理功能...
计算设置概述
计算引擎 说明 操作文档 离线计算引擎 MaxCompute 阿里原生的大数据计算平台，承载海量数据存储与计算能力，高效率与高稳定性。设置Dataphin实例的计算引擎为MaxCompute 实时计算引擎 阿里云实时计算Flink 阿里云新一代计算引擎Flink，支持...
数据库管理
您可在 数据管理DMS 控制台可视化创建、修改或删除数据库，无需执行SQL命令。前提条件 您的用户角色为管理员、DBA或普通用户（实例Owner），更多信息，请参见 系统角色。MySQL数据库管理 数据库类型为MySQL系列、MariaDB系列或AnalyticDB ...
创建集群
集群类型 支持以下集群类型：Shuffle Service：是阿里云EMR在优化计算引擎的Shuffle操作上，推出的扩展组件。Shuffle Service通过提供远端Shuffle服务，使得Spark作业可以运行在无本地盘的节点上，并完美支持了动态资源，非常适合ACK环境下...
数据模型
本文介绍Lindorm时序引擎的数据模型以及相关术语。基本概念 物联网、应用监控、工业互联网等典型的时序场景下，数据源（Data Source）通常按一定的周期持续产生时序数据，一条时序数据由Tag、Timestamp、Field等元素共同来描述，具有相同...
逆向建模：物理表反向建模
建模流程 逆向建模主要用于将大数据引擎中已经存在的物理表反向建模至DataWorks的维度建模中，其建模流程如下：配置逆向建模策略。建模范围：创建模型前，您需要根据业务需求确定需要将哪些表逆向生成模型。该过程需确定表所在的工作空间、...
产品概述
产品描述 Dataphin是集产品、技术、方法论于一体的智能大数据平台建设引擎，为您提供数据引入、规范定义、建模研发、资产管理、数据服务等全链路智能数据建设及治理服务。功能 描述 Dataphin全托管 全托管又称公共云多租户模式，只需购买...
收钱吧订单查询&搜索
解决方案 云数据库Lindorm全文索引方案，通过LTS实现Lindorm宽表引擎与Lindorm搜索引擎之间的数据实时同步，使业务轻松应对高维度&随机组合查询需求。开启云数据库Lindorm压缩优化特性，通过压缩优化数据占用空间，降低存储成本。通过云...
风险识别管理（旧版）
3 规则的描述信息 基础配置>备注 基本信息>描述信息 4 规则生效的引擎 规则项>引擎 规则定义>条件设置 区域，选择条件 选择 数据位置 时，所配置的 数据引擎名称。5 规则生效的项目空间 规则项>项目空间 规则定义>条件设置 区域，选择条件 ...
实时大盘
在左侧导航栏，单击 实时性能大盘 选择要查看的数据库引擎，查看该引擎下所有数据库实例主要指标的实时性能。单击 指标解释 查看各个指标的具体含义。说明 实时性能大盘页展示了 接入正常 的数据库实例的 实时性能状态，并且可以自动刷新。
概述
企业应用 从企业应用的角度，Flink主要用于以下场景：业务部门：实时风控、实时推荐和搜索引擎的实时索引构建等。数据部门：实时数仓、实时报表和实时大屏等。运维部门：实时监控、实时异常检测和预警以及全链路Debug等。
深度解析Lindorm搜索索引（SearchIndex）特性
对于强一致模式，索引原始数据构建完毕后同步写入到搜索引擎，由搜索引擎实时生成全文索引，为业务提供写入即可查的强一致体验。索引引擎 由多个节点组成的分布式Lucene集群，数据按照Hash或者Range来划分为多个Shard，对外提供全文检索...
产品简介
区别于传统关键词匹配的搜索引擎，生成式搜索支持用户通过对话式交互来清晰地表达意图，并对查询到的知识根据用户意图进行个性化表达，生产更加清晰明确的回复。功能优势 优势1：创新的对话式交互体验 支持用户以对话的形式来清晰地表达...
概述
数据同步，比如更新cache，同步到搜索引擎、数仓、冷存储等。LindormStreams支持实时获取HBase表的数据变更，您可以基于LindormStreams的这个功能构建自己的数据应用。说明 该功能只支持云数据库HBase增强版、云原生多模数据库Lindorm。
与Spark集成分析
DLA Ganos是基于云原生数据湖分析（Data Lake Analytics，DLA）系统设计开发的，面向时空大数据存储与计算的数据引擎产品。基于DLA无服务器化（Serverless）数据湖分析服务与内置的Spark计算引擎，DLA Ganos提供了不同级别的数据分析模型，...
与Spark集成分析
DLA Ganos是基于云原生数据湖分析（Data Lake Analytics，DLA）系统设计开发的，面向时空大数据存储与计算的数据引擎产品。基于DLA无服务器化（Serverless）数据湖分析服务与内置的Spark计算引擎，DLA Ganos提供了不同级别的数据分析模型，...
如何选择文件引擎规格
Lindorm文件引擎（LindormDFS）是面向海量非结构化数据的分布式文件存储服务，与多模引擎共享存储底座，提供数据库级的安全可靠性。LindormDFS与开源HDFS保持100%通信协议兼容，使用开源客户端可直接访问，无缝接入所有开源大数据生态与云...
应用场景
Lindorm是阿里云自研的云原生多模型数据库，面向海量多模型数据的低成本存储分析，构建万物互联时代的数据底座。Lindorm支持宽表模型、时序模型，提供自研的宽表引擎、时序引擎和搜索引擎，兼容HBase、Phoenix、OpenTSDB、Solr等多种开源...
产品简介
DLA Ganos是基于云原生数据湖分析（Data Lake Analytics，DLA）系统设计开发的，面向时空大数据存储与计算的数据引擎产品。基于DLA无服务器化（Serverless）数据湖分析服务与内置的Spark计算引擎，DLA Ganos打通了阿里云各个存储系统，如...
申通快递迁移Oracle到Lindorm
方案亮点：去Oracle、云...通过LTS实现宽表引擎向搜索引擎的实时、高效，并且保证双引擎数据一致性，无需业务系统双写并保证数据一致性。Lindorm云原生分布式及存储计算分离架构，具备极致弹性伸缩能力，助力客户轻松应对双十一大促业务峰值。
Java Low Level REST Client
public class RestLClientTest { public static void main(String[]args){/Lindorm搜索引擎的Elasticsearch兼容地址 String search_url="ld-t4n5668xk31ui*-proxy-search-public.lindorm.rds.aliyuncs.com";int search_port=30070;配置用户...
配置冷存储
云原生多模数据库 Lindorm 搜索引擎支持配置表级别的冷存储功能，可以将表数据存储至冷存储介质中，从而降低存储成本。本文介绍搜索引擎配置冷存储的具体操作。前提条件 已下载并安装Search Shell，具体操作请参见 通过Search Shell连接并...
存储类型
宽表引擎、时序引擎、搜索引擎、文件引擎 说明 购买实例时，如果 存储类型 选择 本地SSD盘，仅支持选择 本盘节点规格 和数据引擎的节点数量。支持选购容量型存储。支持挂载云盘与本地SSD盘并池。支持副本异构。支持EC纠删码（1.5副本）。...
使用DataWorks连接
DataWorks的数据源分为引擎绑定时默认创建的引擎数据源和在数据源配置界面创建的自建数据源，若要操作非引擎数据源，请确保已创建数据源，详情请参见 创建与管理数据源。通过DataWorks使用MaxCompute。数据分析。您可以通过如下方式进入...
总体流程
本篇文档主要描述使用数字园区引擎的主要流程图，以及可以实现的主要场景。总结下来，基于数字园区引擎可以实现的主要场景：创建项目，实现对园区内资源的管理 激活物业管理一体机，分发适配器应用和驱动，实现对园区内网设备或者系统的...
搜索引擎版本说明
您可以参阅本文了解Lindorm搜索引擎的版本更新说明，选择在业务低峰期升级实例的搜索引擎版本。如何查看或升级实例的搜索引擎版本 您可以通过控制台查看当前的搜索引擎版本，如下图所示，具体操作及升级版本的注意事项，请参见 升级版本。...
开通搜索索引
云原生多模数据库 Lindorm 的搜索索引（SearchIndex）主要适用于复杂的多维查询场景。本文介绍开通搜索索引的方法。注意事项 在开通搜索索引服务之前，您需要仔细评估实例的资源容量，请参见 集群容量规划 进行资源规划。操作步骤 登录 ...
技术架构选型
在数据模型设计之前，您需要首先完成技术架构的选型。本教程中使用阿里云大数据产品MaxCompute配合...MaxCompute作为整个大数据开发过程中的离线计算引擎。DataWorks则包括数据开发、数据质量、数据安全、数据管理等在内的一系列功能。
读写Elasticsearch数据
配置实例公网或私网访问白名单 访问实例 创建索引 创建文档并插入数据 背景信息 Elasticsearch是一个基于Lucene的实时分布式的搜索与分析引擎，是遵从Apache开源条款的一款开源产品，是当前主流的企业级搜索引擎。它提供了一个分布式服务，...
技术架构选型
在数据模型设计之前，您需要首先完成技术...MaxCompute作为整个大数据开发过程中的离线计算引擎。DataWorks则包括数据开发、数据质量、数据安全、数据管理等在内的一系列功能。icmsDocProps={'productMethod':'created','language':'zh-CN',};
MaxCompute近实时增全量一体化架构介绍
数据自动治理优化 存在的问题 Transactional Table 2.0支持分钟级近实时增量数据导入，高流量场景下可能会导致增量小文件数量膨胀，尤其是桶数量较大的情况，从而引发存储访问压力大、成本高，数据读写I/O效率低下等问题。如果Update和...
数据同步方案概览
云原生关系型数据库PolarDB 提供了多种数据同步方案，可满足不同的业务同步需求，使您可以在不影响业务的情况下平滑的实现引擎间的数据同步。通过使用阿里云 数据传输服务（DTS），您可以实现 PolarDB 的实时同步。数据同步 使用场景 文档...
OpenSearch产品选型
开箱即用，无需运维，可一键式完成行业智能搜索全链路配置 高性能检索版 有订单、优惠券、物流、保单等高性能大数据检索场景需求，需低成本一站式快速搭建搜索系统的企业及开发者，可接入此类型 基于自研搜索引擎实现千亿数据毫秒级响应，...
引擎简介
Lindorm AI引擎提供了一站式集成AI推理能力，支持通过Lindorm SQL灵活导入并部署预训练模型，对海量多模数据进行智能分析和处理。核心能力 数据不出库，一站式AI分析与处理 Lindorm AI引擎支持对存储于宽表引擎中的文本、图像和音视频等非...
Paimon概述
目前阿里云开源大数据平台E-MapReduce常见的计算引擎（例如Flink、Spark、Hive或Trino）都与Paimon有着较为完善的集成度。您可以借助Apache Paimon快速地在HDFS或者云端OSS上构建自己的数据湖存储服务，并接入上述计算引擎实现数据湖的分析...
名词解释
实例（Instance）实例整合了数据接入、视频分析、图像搜索三大功能组件。实例的计算分析性能和适用业务场景由实例规格决定，具体指可分析的视频路数。接流工作组（WorkGroup）接流工作组负责从第三方视频推流平台接入视频点位数据或使用离...
查看数据风险（旧版）
该页面E-MapReduce计算引擎的操作数据展示暂只支持上海region。前提条件 租户管理员已授权开通数据保护伞，详情请参见 数据保护伞概述。操作步骤 登录 DataWorks控制台，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框中选择对应工作...
Delta Lake概述
Delta Lake以数据为中心，围绕数据流走向（数据从流入数据湖、数据组织管理和数据查询到流出数据湖）推出了一系列功能特性，协助您搭配第三方上下游工具，搭建快捷、易用和安全的数据湖。背景信息 通常的数据湖方案是选取大数据存储引擎...
A/B测试报表
说明 目前OpenSearch对A/B Test进行的数据统计指标包括：核心指标，流量指标，行为指标，成交指标，用户分析指标，五个维度：核心指标 指标名 定义 计算公式 依赖 意义 搜索PV PageView：发送搜索请求且成功的次数（翻页也属于搜索请求）每...
开通指南
本文介绍如何开通 云原生多模数据库 Lindorm 搜索引擎以及如何查看连接地址。注意事项 华东1（杭州）和华东2（上海）地域如需开通搜索引擎，请联系Lindorm技术支持（钉钉号：s0s3eg3）。其他地域可通过控制台直接开通。购买实例时开通搜索...
- 产品推荐
- 这些文档可能帮助您