JindoFS实战演示
Impala如何高效查询OSS数据 Impala如何高效查询OSS数据 2021-06-08 Apache Impala是一个开源的大数据查询分析引擎，能够快速查询分析存储在Hadoop集群的PB级数据。如果您已将HDFS数据迁移至OSS中，可通过在Impala中使用JindoFS SDK，高效...
时序引擎应用开发简介
5.连续查询 连续查询应用于大数据查询的场景。通过创建连续查询对新写入的数据预聚合处理，减少实时查询的数据量，从而减少计算量并降低查询延迟。6.预降采样 预降采样应用于较长时间范围的数据查询场景。在数据写入时按照设置的规则将原始...
功能发布记录（2023年）
2023.4.18 所有地域 所有DataWorks用户 SQL查询 大数据公共数据集上线 基于大数据AI公共数据集（淘宝、飞猪、阿里音乐、Github、TPC等），通过DataWorks与MaxCompute快速完成TB级别大数据分析。2023.4.11 所有地域 所有DataWorks用户 SQL...
离线同步任务运维
后续：离线同步数据质量问题与同步任务调优 离线同步任务调优 离线同步数据质量排查 离线同步任务运维常见问题 为什么数据源测试连通性成功，但是离线同步任务执行失败？如何切换数据集成任务执行资源组？脏数据如何排查和定位？如何排查离...
自媒体：易撰
所属行业：自媒体 网站地址：易撰 客户介绍 长沙营智信息技术有限公司是专业的新媒体大数据服务商，其旗下知名品牌易撰，基于新媒体大数据挖掘技术及NLP算法分析，为各内容创客、广告主提供全面、科学、精准的大数据分析服务以及大数据架构...
数据模型
这意味着Aggregate模型可以通过预聚合，极大地降低聚合查询时所需扫描的数据量和查询的计算量，非常适合报表类统计分析场景。该模型对 count(*)查询不友好，因为固定了Value列上的聚合方式，在进行其他类型的聚合查询时，需要考虑语义正确...
跨实例查询
大数据场景（例如TPC-H 1 TB数据）下，跨实例查询数据性能约为本地查询数据性能的50%。跨实例查询数据需要跨网络传输数据，为了减少网络IO，请尽量增加外表的WHERE过滤条件。相关文档 AnalyticDB PostgreSQL版 也支持跨库查询，详情请参见 ...
多租户和资源划分
Online资源组主要用于高并发低延迟的在线数据服务，而一些大查询或离线ETL操作，则可以使用Offline资源组中的节点执行。从而实现在统一集群内同时提供在线和离线服务的能力。导入作业的资源组分配。导入作业（包括Insert、Broker Load、...
实例介绍
并发型只读实例主要应用于如下业务场景：存在高并发、大流量简单查询的业务场景。离线抽取数据的业务场景。计费方式 PolarDB-X 1.0计算资源只读实例 提供多种规格配置的按量付费，计费周期为1小时，不足1小时按1小时计算，计费详情请参见 ...
DBS沙箱功能概览
相比现有基于大数据平台的历史数据离线分析方案，DBS沙箱功能提供原始数据库SQL接口，不需要开发人员编写离线分析脚本，并由于使用快照存储机制，存储成本也更低。费用说明 更多信息，请参见 DBS沙箱费用。后续步骤 自建MySQL应急恢复...
简介
系统兼容开源GeoMesa、GeoServer等生态，内置了高效的时空索引算法、空间拓扑几何算法、遥感影像处理算法等，结合云数据库HBase强大的分布式存储能力以及Spark分析平台能力，广泛应用于空间、时空、遥感大数据存储、查询、分析与数据挖掘...
数据上传
DataWorks的数据上传功能支持将本地文件、数据分析的电子表格、OSS文件等数据上传至MaxCompute、EMR Hive、Hologres等引擎进行分析及管理，为您提供便捷的数据传输服务，助力您快速实现数据驱动业务。本文为您介绍如何使用数据上传功能上传...
数据服务入门
例如，您可以将查询数据表功能快速的生成对应的API，或将已有的API注册至数据服务平台进行统一发布和管理。本文以MySQL数据源为例，为您介绍API开发的全套流程。前提条件 已开通API网关（API Gateway）服务，用于统一管理及调用API，详情请...
数据查询
您可以使用编辑框自动生成SQL或者自定义SQL的方法查询数据。具体操作，请参见 通过Grafana访问时序引擎。Grafana使用OpenTSDB插件访问 Lindorm时序引擎提供OpenTSDB兼容数据访问API，支持Grafana的OpenTSDB数据源插件访问Lindorm时序数据。...
Query级别诊断结果
查询返回客户端的数据量较大 查询消耗的内存资源较大 查询生成的Stage个数较多 查询读取的数据量较大 查询返回客户端的数据量较大 问题 大量数据返回到客户端会导致慢查询，还会占用部分网络前端资源。说明 您可以在查询详情页面的 查询...
多值查询最新数据点
多值模型最新数据点查询（新建mlast）请求路径和方法 请求路径 请求方法 描述/api/query/mlast POST 获得多值模型指标数据中fields 最新写入的数据点。请求内容 名称 类型 是否必选 描述 默认值 举例 queries Array 是 子查询数组。无 见子...
功能优势
当您的数据库中有数据需要被保护时，可以使用RDS MySQL全密态数据库功能，该功能提供的加密解决方案能够在遵守数据保护法规的前提下保障您的数据安全，使被保护数据免受未授权访问。本文将详细介绍RDS MySQL全密态数据库功能的优势，帮助您...
使用流程
操作流程概览如下：开通云原生数据湖分析服务 可选：创建虚拟集群：CU版适用于查询频率高、查询数据量较大的场景，同时也能够给您使用DLA的费用预算带来一定的确定性。推荐您使用CU版本来进行数据分析与计算。说明 如果您使用系统默认的...
HTTP API 概览
API 描述/api/put 写入数据/api/query 查询数据/api/query/last 查询时间线最新数据点/api/mput 多值写入/api/mquery 多值查询/api/query/mlast 多值查询最新数据点/api/suggest 查询 Metric,Tagk,Tagv，Field/api/dump_meta 查询 Tagk 下...
管理健康报告
该健康报告提供了前一天（T+1）的数据，并包括SQL查询、表分析和导入任务三个核心部分。查看健康报告 进入EMR Serverless StarRocks实例列表页面。登录 E-MapReduce控制台。在左侧导航栏，选择 EMR Serverless>StarRocks。在顶部菜单栏处，...
慢日志
对于大数据量复杂查询，推荐使用列存索引（IMCI）提升查询性能。在 慢日志明细 区域，单击目标SQL 操作 列的 优化 和 限流，也可对目标SQL进行 SQL诊断优化 和 SQL限流。常见问题 Q：为什么会出现慢日志记录的SQL执行完成时间与SQL语句的...
什么是MaxCompute
MaxCompute还为您提供完善的数据导入方案以及多种经典的分布式计算模型，您可以不必关心分布式计算和维护细节，便可轻松完成大数据分析。MaxCompute适用于100 GB以上规模的存储及计算需求，最大可达EB级别，并且MaxCompute已经在阿里巴巴...
常见问题
分词查询：数据查询时，搜索引擎会先对原始字符串进行分词，再对分词字段执行关键词匹配操作，例如在通用搜索引擎产品中进行关键词检索。这种查询方式通常无法保证每次检索都一定能匹配到数据，即使原始写入的数据中包含检索内容，但这些...
列存索引（IMCI）发布说明
PolarDB MySQL版 重磅推出的列存索引（In-Memory Column Index，简称IMCI）面向OLAP场景大数据量复杂查询。通过列存索引，PolarDB MySQL版 实现了一体化的实时事务处理和实时数据分析的能力，成为一站式HTAP数据库产品解决方案。通过一套...
慢日志分析
对于大数据量复杂查询，推荐使用列存索引（IMCI）提升查询性能。在 慢日志明细 区域，单击目标SQL 操作 列的 优化 和 限流，也可对目标SQL进行 SQL诊断优化 和 SQL限流。查看全局慢日志 若您有多个数据库实例，您可以在 全局慢日志趋势 ...
概述
PolarDB MySQL版 重磅推出的列存索引（In-Memory Column Index，简称IMCI）面向OLAP场景大数据量复杂查询。通过列存索引，PolarDB MySQL版 实现了一体化的实时事务处理和实时数据分析的能力，成为一站式HTAP数据库产品解决方案。通过一套...
查询时间线最新数据点
必须使用tags字段指定维度过滤条件 TSUID 查询 名称 类型 是否必需 描述 默认值 举例 tsuid String 是 待查询最新数据点的 TSUID 无 00005B00005C0000F000005D0000EE00005E0000EF 重要 时间线的 TSUID 可以通过/api/search/lookup 接口查询...
常见问题
ClickHouse每次写入都会生成一个data part，如果每次写入一条或者少量的数据，那会造成ClickHouse内部有大量的data part（会给merge和查询造成很大的负担）。为了防止出现大量的data part，ClickHouse内部做了很多限制，这就是too many ...
构建数据仓库
DataWorks具有通过可视化方式实现数据开发、治理全流程相关的核心能力，本文将为您介绍DataWorks在构建云上大数据仓库和构建智能实时数据仓库两个典型应用场景下的应用示例。构建云上大数据仓库 本场景推荐的架构如下。适用行业：全行业...
基于混合负载的查询优化
混合计算引擎 提供Interactive与Batch计算模式，同时提供低延迟实时分析能力与大数据的高吞吐批计算能力，分别满足交互式查询与复杂离线计算场景。Interactive模式：采用MPP计算架构，调度粒度为整个查询所有任务，计算过程中pipeline流式...
计费概述
适用于查询频率高、查询数据量较大的场景，同时也能够给您使用DLA的费用预算带来一定的确定性。说明 若您的业务量波动较大且频繁，每个月甚至每周都可能要变更集群配置，推荐您购买按量付费集群并搭配资源包使用。按计算资源付费（CU版计费...
如何减少查询数据点提高查询效率
本文介绍如何通过减少单次查询数据点来提升查询效率。时序查询优化的其中一个原则就是，查询命中的数据点越少，查询效率越高。因此来说查询条件尽量精确。如何减少扫过的数据点数 查询周期与写入的采集周期强相关，尽量减少毫秒级采集周期...
分析外部OSS上的数据
数据应用层（ADS）并不只是简单的查询数据和分析结果，也存在大量的计算，甚至会将离线数据和实时数据进行聚合分析，此时，行存格式的MySQL并不能很好的支撑这些操作。使用该功能后，数据架构如下图所示：该架构既解决了数据应用层（ADS）...
离线集成概述
解决企业复杂大数据批处理难题，支持企业精细化运营、数据营销、智能推荐等大数据业务场景。离线集成功能底层基于Spark开发，支持提升Hadoop平台运行速度的应用场景。说明 如果您在使用该功能的过程中有任何疑问或问题，请使用钉钉搜索钉钉...
绑定或解绑数据库账号
例如，在 数仓版（3.0）弹性模式集群版（新版）集群中数据库账号A、B使日常进行一些简单查询，数据库账号C会进行数据量较大的复杂查询分析，那么这种情况下您可以将数据库账号A、B绑定查询类型为 Interactive 的资源组 source_a，将数据库...
查询用户OSS或专属存储的归档数据
说明 系统默认限制返回20条查询数据，您可根据业务需求修改限制条件，返回更多数据。常见问题 Q：逻辑库进行数据归档查询时会将所有逻辑库的表合并到一个物理表中吗？A：会。逻辑库在进行数据归档时，会将所有逻辑库的表都合并到一个物理库...
时序模型介绍
SQL查询分析 时序表支持通过SQL进行查询，SQL中支持通过指定时间线的元数据条件筛选时间线以及通过统计聚合操作按照不同维度对数据进行聚合操作，例如查询某一批设备采样数据的平均值、将秒级数据聚合为分钟级数据等。此外，SQL还支持仅对...
SELECT MATERIALIZED VIEW
背景信息 物化视图状态分为如下两种：物化视图有效 执行查询语句时，MaxCompute会从物化视图中直接查询数据，不会从源数据中查询数据。物化视图无效 执行查询语句时，MaxCompute无法从物化视图中直接查询数据，会从源数据中查询数据，无法...
E-MapReduce弹性低成本离线大数据分析
大数据是一项涉及不同业务和技术领域的技术和工具的集合，海量离线数据分析可以应用于多种商业系统环境，例如，电商海量日志分析、用户行为画像分析、科研行业的海量离线计算分析任务等场景。离线大数据分析概述 主流的三大分布式计算框架...
分区索引
创建搜索索引时可以指定数据分区策略，服务端自动将数据进行拆分并存储，查询数据时系统自动进行分区裁剪。本文介绍数据分区的策略和使用方法。前提条件 已开通 云原生多模数据库 Lindorm 实例的搜索索引服务，具体操作请参见 开通搜索索引...
- 产品推荐
- 这些文档可能帮助您