创建及管理数据集
当您选择使用的公共数据集时，系统默认拉取该数据集存储的OSS目录。PAI提供如下公共数据集：CIFAR-10图像数据集 PASCAL VOC 2007图像数据集 内容风控领域的图像分类数据集 内容风控领域的目标检测数据集 Deepfashion2图像数据集 关于公共...
创建数据集
数据集是基于特定数据库和特定SQL查询所产生的，以二维表表现的数据集合...即完成数据集的创建并返回到数据集管理界面。说明 单击 配置新图表，系统将默认选中刚创建的数据集并跳转至新增图表界面。关于新增图表的更多信息，请参见 图表管理。
数据可视化
即完成数据集的创建并返回到数据集管理界面。步骤二：配置图表 本示例将配置Students Score（学生成绩）图表与AVG score of each course（各学科平均成绩）图表。本示例仅介绍部分涉及到的参数，更多信息，请参见 图表管理。登录 数据管理...
管理内置数据集
AnalyticDB for MySQL 湖仓版（3.0）支持加载内置数据集，方便您快速体验或测试 AnalyticDB for MySQL 集群。您可以在创建集群时自动加载内置数据集，或通过控制台手动加载内置数据集。本文介绍如何加载和删除内置数据集。注意事项 仅 湖仓...
管理样本数据集
AnalyticDB PostgreSQL版 提供了样本数据集，方便您快速体验或测试 AnalyticDB PostgreSQL版 实例。样本数据集的相关查询语句，请参见 示例查询。注意事项 存储弹性模式实例内核小版本需为V6.3.10.3及以上，Serverless模式实例内核小版本需...
数据存储
本文介绍 云数据库 SelectDB 版 在数据...物化视图 物化视图是将预先计算（根据自定义的SELECT语句）好的数据集，存储在云数据库SelectDB版中的一个特殊的表，用于提高查询效率和数据访问速度。物化视图的详细信息，请参见 SelectDB物化视图。
添加数据集
DataV数据集支持多种数据源的接入，如数据库、excel表格文件等，通过对数据的结构化存储和元数据的汇集整理，提供高效实用的数据建模能力，可用的算子包括常见的数据聚合函数、按不同时间粒度划分、地理信息处理等。本文为您介绍如何在...
功能特性
NAS SMB ACL NAS NFS ACL 访问点 接入点是NAS文件系统中针对于不同应用程序或用户访问文件系统的接入方式，便于轻松管理不同应用不同用户对数据集的访问。接入点 资源管理 阿里云文件存储NAS提供管理标签和资源组功能，帮助您从各种维度...
通过上传本地数据新建数据集
上传本地文件的方式导入业务所需的数据集，以便在模型画布中编辑业务模型时使用导入的数据集。本文介绍如何通过上传本地数据新建数据集。前提条件 已创建云计算资源作为存储数据源，具体操作，请参见 新建计算资源。已准备好待上传的数据表...
数据集成服务
数据导入的迁移方案包括同步MySQL数据到表格存储、同步Oracle数据到表格存储、同步Kafka数据到表格存储、同步HBase数据到表格存储、同步MaxCompute数据到表格存储、同步表格存储数据表中数据到另一个数据表和同步表格存储时序表中数据到另...
TairVector性能白皮书
TairVector是基于 Tair 的向量存储引擎，集存储、检索于一体，提供高性能、实时的向量数据库服务。本文介绍了TairVector的性能测试方法和测试结果。TairVector支持高性能的向量近似最近邻（ANN）检索，可用于非结构化数据的语义检索、个性...
使用DataWorks数据服务生成API
注意 如果不设置请求参数，则需要勾选 返回结果分页，进行分页查询，以避免单次查询返回数据量过大影响性能。API测试。单击页面工具栏最右侧的 测试，填写API请求参数（由于打开了分页查询开关，系统会自动添加两个分页参数），单击 开始...
创建湖仓版集群
内置数据集大小约为10 GB，该部分数据所占用的存储空间不会计费。存储预留资源 存储预留资源可用于存储热数据。一组存储预留资源为24 ACU，能存储的热数据量：8 TB。重要 如果计算预留资源为0 ACU，存储预留资源只能为0 ACU。如不确定需要...
2022年
2022年11月30日（V7.0.1.x）类别 功能 功能描述 相关文档 新增 样本数据集 AnalyticDB PostgreSQL 7.0版 提供了样本数据集，方便您快速体验或测试实例。管理样本数据集 数据集信息和示例查询 orafce插件 新增orafce插件，用于兼容Oracle...
添加适配数据源
如果通过上传本地数据源文件方式创建数据集请跳过本章节。背景信息 说明 当前数据集功能支持以下数据源类型：RDS for PostgreSQL、RDS for MySQL、兼容MySQL数据库、交互式分析 Hologres。操作步骤 登录 DataV控制台。在 功能导航 模块单击...
RestAPI Reader最佳实践
返回数据结构：本示例接口的返回结果为一个JSON数组，此处选择 数组数据。数据存储json路径：本示例接口获取的数据存储于data下，此处配置为 data。请求参数：请求参数与调度参数搭配使用，实现每天同步当天数据的。请求参数配置为 ...
基于TPC-DS测试Databricks引擎性能
单独生成数据集时，参数为0 运行测试数据集时，参数为大于0-generateData Boolean型参数，是否生成数据集 单独生成数据集时，参数为true 运行测试数据集时，参数为false 其余参数较为固定，可参考以下推荐用例。TPC-DS项目最佳实践 步骤一...
TPC-DS数据
由于TPC-DS数据集存放于支持按Schema存储的项目下，未开启租户级别Schema语法的用户无法在DataWorks数据分析提供的公开数据集中直接查看，但您依旧可以通过我们提供的SQL语句进行查询。由于是跨项目访问数据，为了保证SQL运行效果，您需要...
TPC-H
本次测试的挑战主要有：30 TB大数据集：本次选用30 TB数据集，最大表1800亿行，对数据的导入、存储、计算性能都是巨大的挑战。复杂关联分析：多表Join、相关查询、数据多维过滤和高精度数值计算等，不仅对优化器是挑战（如何解相关、选择最...
公开数据集概述
由于公开数据集项目支持按Schema存储，未开启租户级别Schema语法的用户无法在DataWorks数据分析提供的公开数据集中直接查看，但您依旧可以通过我们提供的SQL语句进行查询。详细表信息 公开项目BIGDATA_PUBLIC_DATASET各Schema中的表详细...
创建集群
内置数据集大小约为10 GB，该部分数据所占用的存储空间不会计费。存储预留资源 存储预留资源可用于存储热数据。一组存储预留资源为24 ACU，能存储的热数据量：8 TB。重要 如果计算预留资源为0 ACU，存储预留资源只能为0 ACU。如不确定需要...
数据服务集群
特别适用于需要实时读写随机访问超大规模数据集的场景。Apache HBase和Apache Hadoop生态系统无缝集成，并且可以和Apache Phoenix搭配使用以对HBase表进行类似于SQL的查询。Apache HBase基于HDFS作为底层存储系统，在云上的场景可以使用...
添加对象存储OSS数据源
本文档为您介绍在DataV中添加对象存储OSS数据源的方法，以及相关参数配置说明。使用阿里云对象存储服务（Object Storage Service，简称OSS），您可以通过网络随时存储和调用文本、图片、音频和视频等各种非结构化数据文件。前提条件 已准备...
Paimon概述
支持在流模式与批模式下读写大规模数据集。支持分钟级到秒级数据新鲜度的批查询和OLAP查询。支持消费与产生增量数据，可作为传统数仓与流式数仓的各级存储。支持预聚合数据，降低存储成本与下游计算压力。支持历史版本回溯。支持高效的数据...
添加对象存储OSS数据源
本文档为您介绍在DataV中添加对象存储OSS数据源的方法，以及相关参数配置说明。使用阿里云对象存储服务（Object Storage Service，简称OSS），您可以通过网络随时存储和调用文本、图片、音频和视频等各种非结构化数据文件。前提条件 已准备...
API概览
样本数据集 API 标题 API概述 CreateSampleData 创建样本数据集 为AnalyticDB PostgreSQL版实例创建样本数据集。DescribeSampleData 查询是否加载样本数据集 查询AnalyticDB PostgreSQL版实例中是否加载了样本数据集。UnloadSampleData 卸...
RDS SQL Server空间不足问题
RDS SQL Server实例的空间使用率是日常需要重点关注的监控项之一，实例的存储空间不足，会导致严重后果，例如数据库无法写入、数据库无法备份、存储空间扩容任务耗时过长等。本文介绍如何查看空间使用情况以及排查空间问题。查看空间使用...
方案实现
} 多条件检索数据集 本方案中，对meta表建立多元索引后，可以支持通过各种组合条件来进行数据集检索，查询出符合条件的数据集，这个功能对于气象管理系统来说非常重要。示例如下：假设我们要查询已经完成入库的，创建时间为最近一天的，...
观远BI连接MaxCompute
在 数据集 页面单击 新建数据集 并选择 数据库。在 选择连接器 面板中选择 MaxCompute 后单击 下一步。步骤二：选择数据表 在 选择数据表 面板，单击 新建账户。如果已有创建的账户，直接跳转 第4步。在 新建账户 对话框，输入下表所列参数...
2022年
管理样本数据集 数据集信息和示例查询 计划管理 AnalyticDB PostgreSQL版Serverless模式 针对 实例启停 和 实例变配 提供了计划管理功能，支持您基于 时间维度对产品的资源计划进行个性化设置。计划管理 2022年08月 功能 功能描述 相关文档...
基本概念
每个栅格数据集只需构建一次金字塔，之后每次查看栅格数据集时都会访问这些金字塔。栅格数据集越大，创建金字塔集所花费的时间就越长。但是，这也就意味着可以为将来节省更多的时间。Ganos Raster 数据分块模式（Layout Scheme）Layout ...
应用场景
数据脱敏 支持通过灵活多样的内置或自定义脱敏算法，支持生产类敏感数据脱敏到开发测试等非生产环境使用的静态脱敏场景，同时也支持原始数据不做调整，返回数据动态脱敏的场景，并确保脱敏后的数据保真可用。数据审计 智能解析数据库及大...
对接DataV
通过DataV控制台添加表格存储数据源后，您可以使用DataV可视化展现表格存储的数据。前提条件 首次使用表格存储时，请开通表格存储服务以及创建实例和数据表等。具体操作，请参见 通过控制台使用 或者 通过命令行工具使用。首次使用DataV时...
功能特性
有效缩短备份集恢复时间的同时，降低了备份集存储成本。RDS MySQL稀疏备份 RDS SQL Server稀疏备份 RDS PostgreSQL稀疏备份 PolarDB MySQL稀疏备份 多云多端统一管理 提供多云数据库、多种存储类型的统一备份管理。支持的数据库引擎与功能 ...
添加适配数据源
如果通过上传本地数据源文件方式创建数据集请跳过本章节。背景信息 当前数据集功能仅支持以下三种数据源类型：RDS for MySQL 兼容MySQL数据库 RDS for PostgreSQL 操作步骤 登录 DataV控制台。选择 我的数据 页签，在左侧列表中单击 数据源...
典型场景
构建数据湖 实时数据湖：支持DB的CDC与消息数据（如Kafka）入湖，构建大规模的可以增删改查的数据集，延迟为T+10分钟。一键建仓：支持数据库一键入湖，T+1天。文件上传：数据上传后，DLA元数据发现功能可自动发现并构建好元数据体系。数据...
Serverless 计费
Serverless读写计量单位以CU（Capacity Unit，能力单元）来计算，单行读操作返回数据大小大于4 KB，则消耗读CU为实际数据大小按4 KB整除向上取整。请求计费 Serverless读写计量单位以CU（Capacity Unit，能力单元）来计算，单行读操作返回...
数据安全
数据加密 静态数据落盘加密 表格存储支持数据落盘加密，防止攻击者绕过数据库。更多信息，请参见 数据加密。系统默认未开启数据落盘加密功能。如需开启该功能，在 创建数据表 对话框中，打开 是否加密 开关并选择加密类型，即可开启数据...
Tablestore HBase Client 支持的功能
功能 支持情况 指定 start、stop 确定扫描范围 支持 如果不指定扫描范围，默认扫描全局 支持 prefix filter 支持 读取逻辑同 Get 支持 逆序读 支持 caching 支持 batch 不支持 maxResultSize，返回数据量大小的限制 不支持 small 不支持 ...
基于DLF、RDS或Flink、OSS支持Delta Lake或Hudi存储...
数据湖存储与管理 对象存储OSS 数据湖构建DLF 将在线数据库中的源数据引入数据湖时，OSS会作为数据湖的统一存储，存储机制包含Delta Lake和Hudi两种。同时，DLF采用元数据管理功能管理元数据库和元数据表。数据湖探索与分析 MaxCompute ...
- 产品推荐
- 这些文档可能帮助您