数据解析概述
数据解析工作台的说明，请参见 数据解析工作台说明。配置数据解析：配置源节点 配置数据计算和数据过滤（可选）配置值转化（可选）配置数据聚合（可选）配置超时插值（可选）配置相邻消息计算 配置目标节点 启动数据解析任务：完成数据解析...
数据解析工作台说明
背景信息 您可以使用数据解析工作台，配置数据解析任务分析处理接入数据服务的数据源。更多信息，请参见 使用说明。进入数据解析工作台 在 物联网平台控制台 的 实例概览 页面，单击目标企业版实例 ID 或备注名称。在左侧导航栏，选择 数据...
数据分析：即时快速分析
数据分析基于“人人都是数据分析师”的产品目标，旨在为更多非专业数据开发人员，如数据分析、产品、运营等工作人员提供更加简洁高效的取数、用数工具，提升大家日常取数分析效率。功能概述 数据分析支持基于个人视角的数据上传、公共数据...
配置源节点
创建数据解析任务后，您可在数据解析工作台，配置数据解析任务的源节点，以作为后续数据解析的数据源。本文介绍配置源节点的操作步骤。前提条件 已创建数据解析任务，具体操作，请参见 创建数据解析任务。背景信息 数据解析功能说明，请...
功能特性
系统按照您设定的数据同步时间自动、无缝的帮您把数据源中的数据同步到目标数据仓库OSS中，同时在数据仓库和DLA中创建与数据源表相同的表结构，基于目标数据仓库进行数据分析，不影响数据源端的线上业务运行。概述 实时数据湖 基于DLA ...
Serverless Presto概述
因此它采用全内存流水线化的执行引擎，相较于其它引擎会把中间数据落盘的执行方式，Presto在执行速度上有很大的优势，特别适合用来做Adhoc查询、BI分析、轻量级ETL等数据分析工作。阿里云数据湖分析团队在Presto之上又进行了很多的优化，...
大数据AI公共数据集分析
本文以分析公共数据集的数据示例，为您展示如何使用DataWorks进行简单数据分析工作。本教程以申请免费资源为例为您展示详细操作步骤，您也可以使用付费资源，操作类似。教程简介 阿里云DataWorks基于多种大数据引擎，为数据仓库、数据湖、...
数据质量保障原则
不同行业有不同的评估数据质量的标准。对于MaxCompute，数据质量可以从完整性、准确性、一致性和及时性共四个角度进行评估。完整性 完整性是指数据的记录和信息是否完整...若等待时间过长，数据失去了及时性的价值，数据分析工作将失去意义。
友盟数据分析
U-DOP数据开放平台是友盟+为开发者提供的数据开放和私域数据融合的平台，通过一键订阅分析模板、拖拽式自助分析报表来快速完成数据分析工作。U-DOP数据开放平台不仅仅为您提供了U-App的统计明细数据，同时包含了多主题的分析模板和可订阅的...
客户案例
该服务通过订阅数据包返还数据到MaxCompute，预置分析模板并结合可视化分析BI工具来快速完成数据分析工作，为企业提供更加灵活的一站式数据分析能力。解决方案架构如下。详细案例信息，请参见 友盟+案例。电商案例：玩物得志 客户简介 玩物...
功能发布记录（2023年）
使用Copilot+增强分析实现一站式智能数据查询与可视化 数据治理中心新增治理计划 治理计划可帮助数据治理管理者场景化规划治理工作，完成多人协作治理的推进和实施，使数据治理工作“有目标”、“易执行”、“可量化”。产品提供了资源成本...
什么是数据库审计
工作原理 数据库审计服务通过旁路监听模式，支持完全独立于数据库的部署。在不影响数据库日常运行效能的前提下，实现灵活的审计与监控。基于数据库操作语句进行审计，监视数据库登录、访问行为，有效地实施审计策略。数据库审计服务还具备...
数据迁移与同步FAQ
DTS的数据迁移与数据同步工作原理是什么？DTS的数据迁移与数据同步有什么区别？使用DTS遇到预检查报错，如何解决？什么是数据迁移、数据同步？数据迁移：将Redis数据库中的数据（即键值对）迁移至另一个Redis数据库中。通常迁移完成后即可...
产品架构
数据迁移工作原理 数据迁移过程包括三个阶段，即结构迁移、全量数据迁移和增量数据迁移。如果需要在迁移期间保持源数据库的正常运行，当您在配置迁移任务时，必须将结构迁移、全量数据迁移和增量数据迁移都选为所需的迁移类型。结构迁移：...
可视分析创作间和传统BI软件差异比较
自动数据探查帮助了解数据状态、基础分布 编程实现——IT人员通过代码完成数据采集 通过简单表格操作完成数据准备，例如筛选、排序等 编程实现——IT人员通过数据开发，实现数据准备工作 分析过程 自由的数据可视化分析和探索。上传数据一...
数据查询与分析管控
您可根据下图步骤，授权某成员或角色，拥有指定工作空间数据分析模块中目标数据源的查询权限。配置要点如下。参数 描述 工作空间 仅支持选择当前账号为 空间管理员 的工作空间。选择后，将为您展示该工作空间中所有数据源，您可对数据源...
高效数据治理实施指南
以某公司数据平台团队的数据治理负责人为例，其负责本团队的数据成本管理工作，同时也是DataWorks所有数仓工作空间的管理员，日常需要进行整个数据团队的运维管理工作和成本管理工作，对数据治理相关工作进行确定和推进。目前在年初阶段，...
功能概述
实现原理 分析型数据库MySQL版的向量分析旨在帮助您实现非结构化数据的近似检索和分析，其实现原理是通过AI算法提取非结构化数据的特征，然后利用特征向量唯一标识非结构化数据，向量间的距离用于衡量非结构化数据之间的相似度。...
数据接入概述
功能 设备数据源 云产品数据源 IoT孪生引擎数据源 API数据源 本地上传数据源 数据解析 支持 支持 不支持 支持 支持 冷数据存储 支持 支持 支持 支持 支持 数据指标 支持 不支持 不支持 不支持 不支持 分析洞察 支持 支持 支持 不支持 支持 ...
功能发布记录（2022年）
2022.11.16 所有地域 所有DataWorks用户 业务视角管理：数据专辑 DataWorks数据分析新版升级，全新的SQL查询体验 DataWorks数据分析，新增功能如下：支持用户统一管理个人名下的所有SQL文件及辅助取数工作常用的数据表集合。支持有权限的...
DLA Lakehouse实时入湖
您需要在DTS中进行以下操作：说明 目前DLA中RDS数据源的入湖分析工作负载，会先利用RDS做数据的全量同步，然后依赖DTS数据订阅功能做增量同步，最终实现完整的RDS数据入湖。创建RDS MySQL数据订阅通道 说明 由于DLA Lakehouse只支持专有...
RDS实例间的数据迁移
更多迁移功能原理，请参见 数据迁移工作原理。DTS在执行全量数据迁移时将占用源库和目标库一定的读写资源，可能会导致数据库的负载上升，在数据库性能较差、规格较低或业务量较大的情况下（例如源库有大量慢SQL、存在无主键表或目标库存在...
RDS实例间数据迁移
更多迁移功能原理，请参见 数据迁移工作原理。DTS在执行全量数据迁移时将占用源库和目标库一定的读写资源，可能会导致数据库的负载上升，在数据库性能较差、规格较低或业务量较大的情况下（例如源库有大量慢SQL、存在无主键表或目标库存在...
简介
数据工作站可以结合大语言模型给业务开发、数据开发、分析师和数据运营同学赋能，提升数据交付效率和数据自助分析的效率。当您需要将查询的数据、测试的数据、以及数据变化趋势等信息，以文档的形式进行交付，并在交付后，希望有可以替您...
列的最佳实践（2.0版）
优化原理 分析型数据库MySQL版处理数值类型的性能远好于处理字符串类型。原因在于：数值类型定长，占用内存少，存储空间小。数值类型计算更快，尤其是join时。从内部索引机制上，字符串类型适合等值查询和范围查询情况，而时间，数值类型...
产品功能
数据解析 GDB Automl将导入和上传的数据进行自动解析，您可以自动配置解析数据源和解析器（支持CSV、ARFF、XLS、ORC等多种数据格式的解析），解析后可查看数据的样本量，并查看样本特征摘要，解析特征分布情况。数据切分 支持按照自定义...
功能特性
SQL窗口介绍 SQL Console初体验 SQL Console新交互模式下变更表数据和结构 数据工作站 数据集成 离线集成是一种低代码开发数据加工任务的工具，可以组合各类任务节点形成数据流，通过周期调度运行达到数据加工、数据同步的目的。...
如何对JSON类型进行高效分析
PolarDB 列存索引（In Memory Column Index，IMCI）功能推出了完备的虚拟列与列式JSON功能等，可以快速处理大数据和多种数据类型（包括结构化数据与半结构化数据等），并提供高效的数据分析、查询与流计算能力，适用于数据分析、数据仓库与...
开启/关闭流量分析
概述 流量分析服务会涉及产生日志费用，所以开通内网DNS解析服务后，默认不会主动开启流量分析，需要您手动开启流量分析。对于未开启流量分析的用户，进入界面会提示您展示的都是模拟数据，您可以点击开启流量分析服务；点击开启后要进行...
新功能发布记录
使用数据工作站功能可以提高数据交付效率和数据自助分析效率。数据工作站 2023年 11月 功能名称 变更类型 功能描述 相关文档 SQL备份与回滚 新增 使用DMS的SQL备份与回滚功能，快速将数据恢复到变更前的状态。SQL备份与回滚（公测中）SQL...
工作原理
工作原理 本地安装一个数据库网关代理（database gateway agent）。数据库网关代理负责与数据库网关云端服务（database gateway cloud service）建立安全的、可信任的通道。不同账号、不同网关所建立的通道彼此隔离。通道建立后，当您...
Sugar BI连接MaxCompute
Sugar BI是百度智能云推出的敏捷 BI 和数据可视化平台，MaxCompute支持您将MaxCompute项目数据接入Sugar BI，帮助您轻松完成数据分析和数据可视化工作。本文为您介绍如何使用Sugar BI连接MaxCompute项目，并进行可视化数据分析。前提条件 ...
快速入门
本文为您介绍使用数据工作站功能前需要完成的工作，以及功能的使用流程。准备工作 将您需要分析的实例录入至DMS。具体操作，请参见 云数据库录入 和 他云/自建数据库录入。实例已开启安全托管。开启操作，请参见 开启安全托管。管理员将待...
低成本历史库
在移动互联网高度发达的今天，每天都会有大量的业务数据产生，随着时间的积累和业务的发展数据量急剧增长，同时历史数据的访问频率随着时间的推移却越来越低。这些数据全部存储在关系型数据库中会带来了一系列的问题。重要 2023年3月10日后...
应用场景
数据传输服务DTS（Data Transmission Service）支持数据迁移、数据订阅和数据实时同步功能，帮助您实现多种典型应用场景。不停机迁移数据库 传输方式：数据迁移 为了保证数据的一致性，传统的迁移过程需要您在迁移数据时停止向源数据库写入...
通过数据同步功能同步Kafka至湖仓版（推荐）
{"name":"zhangle","age":18,"device":{"os":{"test":lag,"member":{"fa":zhangsan,"mo":limei } },"brand":"none","version":"11.4.2"} } JSON数据解析后，对应0~4层的效果如下。0层解析 不做任何解析，直接输出原始JSON数据。JSON字段 值...
应用场景：低成本历史库
Lindorm 提供海量数据的低成本存储能力（0.11元/GB/月）、弹性伸缩按需付费、多模多端处理能力满足用户多种场景下的数据存储需求，同时可以无缝对接spark、hive、flink、presto等开源分析生态满足用户对数据的复杂分析需求，最大程度挖掘...
（邀测）MaxCompute Notebook使用说明
MaxCompute Notebook是由MaxCompute提供的全托管、交互式数据分析挖掘模块，为数据工程师、数据分析师及数据科学家等人员提供Web交互式开发环境。支持用户通过SQL、PyODPS、Python等进行数据分析、探索，挖掘数据的价值，完成大数据与AI的...
内网DNS解析简介
提供解析时延、解析请求量、解析命中缓存率、热点域名、热点请求来源等各个维度的数据分析，为您优化解析设置提供数据参考。重要 内网DNS解析服务产品规则 仅对企业内网VPC中DNS服务器地址配置为100.100.2.136/100.100.2.138或者通过服务...
锁分析
数据库自治服务DAS锁分析功能可直观地查看和分析数据库最近一次发生的死锁，本文介绍锁分析的具体操作步骤。前提条件 目标数据库引擎为 PolarDB MySQL版。目标数据库实例已接入DAS，并且接入状态显示为 接入正常，接入方法详情请参见 接入...
- 产品推荐
- 这些文档可能帮助您