导入导出表数据
MaxCompute Studio可以将CSV、TSV等格式的本地数据文件导入至MaxCompute表中，也可将MaxCompute表中的数据导出到本地文件。MaxCompute Studio通过Tunnel导入导出数据。前提条件 导入导出数据使用MaxCompute Tunnel，因此要求MaxCompute ...
配置安全规则
已关联数据库 已关联数据库 选择需要启用该规则的数据库。其他 规则描述 规则描述信息，最多支持1,000个字符。规则类型为 操作规则 时，需配置以下信息：类别 配置项 说明 访问来源 来源IP 访问数据库来源IP地址，如：192.168.XX.1~192.168...
离线同步数据质量排查
每一个存储类型都会有对应的Reader插件，Reader插件会根据用户配置的数据抽取模式（包括数据过滤条件、表、分区、列等），使用JDBC或者对应数据源SDK最终将数据抽取出来。说明 数据实际读出效果和数据同步机制、源头数据是否变化、任务配置...
什么是EMR on ACK
阿里云E-MapReduce（简称EMR）on ACK提供了全新构建大数据平台的方式。您可以将开源大数据服务部署在阿里云容器服务Kubernetes版（ACK）之上，利用ACK在服务部署和容器应用管理的优势，减少对底层集群资源的运维投入，以便于您可以更加专注...
发展历程
2015年 在GraySort竞赛中，MaxCompute用377秒完成了100 TB的数据排序，打破了此前Apache Spark创造的1406秒的纪录。打破全球Sort Benchmark排序竞赛的四项纪录。产品认证 全国首批通过信通院云原生湖仓一体认证。全国首家通过信通院数据...
产品简介
大数据专家服务 大数据专家服务（Bigdata Expert Service）是由阿里云大数据专家基于阿里云多年大数据架构、应用、运维、AI算法建模等最佳实践经验及方法论为用户提供全方位的大数据产品技术、咨询服务及售后专家服务运维保障，帮助用户...
产品概述
什么是E-MapReduce 开源大数据开发平台E-MapReduce（简称EMR），是运行在阿里云平台上的一种大数据处理的系统解决方案。EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理...
数据下载配置
区域 描述 ① 列表区 为您展示 项目、数据下载范围、是否开启 样例数据审批、样例数据审批模板、是否开启 完整数据审批、完整数据审批模板 信息。② 操作区 您可以对项目执行 编辑 和 删除 操作。编辑：您可编辑审批配置的信息，详情请参见...
数据下载配置
区域 描述 ① 列表区 为您展示 项目、数据下载范围、是否开启 样例数据审批、样例数据审批模板、是否开启 完整数据审批、完整数据审批模板 信息。② 操作区 您可以对项目执行 编辑 和 删除 操作。编辑：您可编辑审批配置的信息，详情请参见...
面临的业务挑战
数据散乱不一致 传统企业的数据具有多样性，包括结构化、半结构化以及非结构化的数据。数据来源上包含数据库数据、日志数据、对象数据以及已有数仓上的存量数据等。这些不同来源、不同格式的数据，各自又有不同的访问和分析方式，而大量...
简介
支持空间几何、时空轨迹的数据表达和建模。支持时空几何对象的创建、写入、索引、查询、删除等管理能力。支持与Spark的集成分析，提供兼容OGC标准的GeoSQL访问。支持基于SDK和RestAPI两种开发方式。支持HBase 1.x版本。2.5 版本 兼容2.0...
DataWorks模块使用说明
使用流程概览：参考文档：DataWorks数据建模 子模块：数据开发（DataStudio）功能说明：数据开发（DataStudio）是一站式大数据开发平台，支持在线开发MaxCompute、EMR、Hologres、CDP、ADB等多种大数据引擎的数据处理任务。它集成了强大的...
轮播页面
当当前大屏数据接口请求失败时 数据接口请求失败时（请求失败的情况可能是：网络问题或接口报错等）返回并经过过滤器处理后抛出的事件，同时抛出处理后的JSON格式的数据。具体数据示例请参见画布编辑器中组件右侧配置面板 数据 页签的 数据...
客户案例
MaxCompute已被广泛应用于各大领域处理云上大数据，帮助众多企业解决了海量数据分析问题，同时降低企业运维成本，企业人员可更专注于业务开发。本文为您介绍MaxCompute的精选客户案例。MaxCompute的全量客户案例信息，请参见 行业客户案例...
亿海蓝-航运大数据的可视化案例
——亿海蓝CTO 客户简介 亿海蓝是中国的航运大数据公司，做为中国最大的AIS数据服务运营商，发展目标是通过大数据技术推动全球航运物流与互联网的融合，加速航运产业转型升级。亿海蓝目前已为全球上百万行业用户提供数据服务，客户涵盖港口...
DataWorks产品安全能力介绍
为充分契合数据安全治理的核心理念与通用思路，DataWorks针对资产梳理、技术体系/运营体系建设提供了一系列全面的数据安全产品能力，基于“I（Identify）P（Protect）D（Detect）R（Respond）”理论框架，从资产识别、安全防护、行为检测、...
概述
DataWorks的安全中心，帮助您快速构建平台的数据内容、个人隐私等相关的安全能力，满足企业面向高风险场景的各类安全要求（例如，审计），无需您额外配置即可直接使用该功能。DataWorks的安全中心作为云上大数据体系的安全门户，致力于向您...
整体架构
湖仓版（3.0）架构如下：数据源 数据管道APS可以一键低成本接入数据库、日志、大数据中的数据。存储层+计算层 支持自研引擎，羲和计算引擎和玄武存储引擎。新增集成的开源引擎，Spark计算引擎和Hudi存储引擎。可以借助开源的能力为您提供更...
数据导入方式介绍
为满足多样化的数据导入需求，云原生数据仓库AnalyticDB MySQL版 提供了多种数据导入方式，包括：通过外表导入数据、使用DataWorks导入数据和利用JDBC通过程序导入数据等。本文介绍各导入方式的特性及适用场景，帮助您选择正确的数据导入...
数据量
数据量 说明 数据库磁盘空间 由数据库的数据文件空间、数据库的日志文件空间、操作系统文件空间和空闲空间组成。说明 RDS中为：购买时选择的存储空间。ECS中为：购买时选择的系统盘和数据盘存储空间。数据文件空间 数据库的数据文件在...
产品概述
数据总线 DataHub 和StreamCompute无缝结合，可以作为StreamCompute的数据源和输出源，具体可参考 实时计算文档 流处理应用 用户可以编写应用订阅数据总线 DataHub中的数据，并进行实时的加工，把加工后的结果输出。用户可以把应用计算产生...
DBS沙箱功能概览
使用成本：您必须待数据完成恢复后才能使用数据，而在海量的数据下，恢复过程通常会占用大量网络和磁盘IO资源，以及CPU资源。恢复过程不仅产生了大量的成本，同时也导致数据恢复时间（Recovery Time Objective，RTO）长达小时级别以上。DBS...
DataWorks On EMR使用说明
环境准备 一、资源准备 类别 描述 相关文档 版本选择 DataWorks基础版服务可满足EMR基本的数据上云、数据开发与调度生产、简单的数据治理工作，若需获取更专业的数据治理、数据安全解决方案，可选择相应的 标准版、专业版、企业版 服务。...
升级数据库大版本
本文介绍云数据库MongoDB支持升级的数据库大版本以及如何升级数据库大版本。注意事项 升级分片集群实例的数据库大版本时，实例的协议类型需为 MongoDB协议。升级采用轮转升级的方式进行，升级过程中会自动对实例进行2~3次重启，请在业务低...
Transaction Table2.0概述
现状分析 当前典型的数据处理业务场景中，对于时效性要求低的大规模数据全量批处理的单一场景，直接使用MaxCompute足以很好的满足业务需求，对于时效性要求很高的秒级实时数据处理或者流处理，则需要使用实时系统或流系统来满足需求。...
质量评估
质量评估通过用户自定义质量检查计划，根据用户设置的数据质量规则执行面向不同计算资源的质量检查任务，通过数据质量监控报告展现系统整体数据质量概览及多维度细分数据的质量情况。质量评估通过完整性、准确性、一致性、唯一性、时效性、...
产品概述
可视化的数据资产：系统化构建业务数据资产大图，从数据视角还原业务系统、提取业务数据，快速感知业务关键环节及数据。数据使用简单可依赖：通过主题式数据查询服务，您可以快速查询和访问研发构建的数据逻辑表，简化约80%的查询代码。...
某网约车公司车辆轨迹数据
云原生多模数据库 Lindorm 支持OSS做为冷存储，这样业务上把一个月之前的数据（冷数据）全部通过Lindorm自动存储到OSS里面，最近一个月内的数据存储到高效云盘，这样在零代码开发、零运维、客户无感知情况下进行了冷热分层存储，大大节约了...
快速开始
DataV-Card可视分析创作间是一款面向高频数据处理的业务人员、零代码的数据可视分析产品，提供简单、直观、易于使用的数据准备、洞察发现、可视化分析工具，通过具象、生动、有趣的方式快速理解数据，让更多用户能便捷高效地利用数据可视化...
导入数据
本文提供的数据文件样例如下：导入非分区表的数据文件：banking.txt。导入分区表的数据文件：banking_nocreditcard.csv、banking_uncreditcard.csv 和 banking_yescreditcard.csv。步骤一：导入数据 基于Tunnel Upload 将本地数据文件内容...
散点层
重要 该配置项为一个数组，配合数据分级使用，从类型1到类型n为递增的设置，例：类型1设置为10，则表示value值为0~10的数据将展示为10的大小，类型2设置为20，则表示value值为11~20的数据将展示为20的大小，如果数据分级配置项设置为3级，...
导入概述
为了更好地满足各种不同的业务场景，StarRocks支持多种数据模型，StarRocks中存储的数据需要按照特定的模型进行组织。本文为您介绍数据导入的基本概念、原理、系统配置、不同导入方式的适用场景，以及一些最佳实践案例和常见问题。背景信息...
风险识别管理（新版）
3 规则的描述信息 基础配置>备注 基本信息>描述信息 4 规则生效的引擎 规则项>引擎 规则定义>条件设置 区域，选择条件 选择 数据位置 时，所配置的 数据引擎名称。5 规则生效的项目空间 规则项>项目空间 规则定义>条件设置 区域，选择条件 ...
ListDoctorHiveTables-批量获取Hive表分析结果
温数据指的是 7 日内没有访问的数据，但是 30 日以内有访问的数据。coldDataSize:冷数据的数据量大小。冷数据指的是 30 日内没有访问的数据，但是 90 日以内有访问的数据。freezeDataSize:极冷数据数的据量大小。极冷数据指的是 90 日以内...
生成测试数据
信息项 说明 数据库 选择需变更的数据库 odc_test。表 选择当前数据库 odc_test 中存在的表 employee，以生成该表的模拟数据。模拟生成数据量 指定需要生成的数据量。默认值：1000 条数据，最多生成不超过 100W 行数据，所以用户可以在文本...
概述
向量数据库简介 在现实世界中，绝大多数的数据都是以非结构化数据的形式存在的，如图片，音频，视频，文本等。这些非结构化数据随着智慧城市、短视频、商品个性化推荐、视觉商品搜索等应用的出现而爆发式增长。为了能够处理这些非结构化...
功能特性
Paimon数据源 数据集成和可视化 功能集 功能 功能描述 参考文档 数据集成 通过DataWorks导入数据 云数据库 SelectDB 版支持使用DataWorks的数据集成功能，通过SelectDB Writer导入表数据。本文以MySQL数据源为例，介绍如何通过DataWorks...
数据归档概述
当线上数据库中的历史数据（访问率很低的数据）越来越多，占用的存储越来越大，以至于会影响数据库的查询性能与业务运转，此时您可以使用 数据管理DMS 的数据归档功能，周期性地将指定表的数据归档至其他数据库或存储服务中。同时，该功能...
雷达图
参数 说明 点击过滤 打开开关，当组件配置了多系列数据时，在组件预览或发布状态下使用移动端设备，单击组件内某个系列的图例，即可切换当前系列为选中或者不选中状态，从而在可视化应用内过滤展示不同系列的数据；关闭开关，无法过滤切换...
什么是备份数据量
名词解释 备份数据量，是指通过DBS备份链路的数据量。常见概念 在数据库备份DBS业务场景下，含有常见以下几个概念：数据库磁盘空间、数据文件空间、备份数据量、存储数据量等。概念 说明 数据库磁盘空间 数据库磁盘空间由数据库的数据文件...
- 产品推荐
- 这些文档可能帮助您