方案背景
大数据计算场景：推荐系统，订单类业务等 实时数据计算场景：监控系统，电商数字大屏等 样例场景 某电商公司为了完成电商运营数据的分析和展示，使用表格存储统一存储电商数据，通过Spark的流批处理离线聚合或实时统计电商数据，最终在...
导入数据
本文为您介绍如何通过MaxCompute客户端，使用Tunnel Upload将本地数据文件中的数据导入创建好的表中。前提条件 请确认您已满足如下条件：已创建表。更多创建表操作，请参见 创建表。已将CSV或TXT数据文件下载至本地。本文提供的数据文件样...
敏感数据溯源
DataWorks的数据溯源功能，支持通过提取数据泄露文件中数据的水印信息，帮助您定位到可能会泄露目标数据的责任人。本文为您介绍如何创建溯源任务，并通过该任务查找可能会泄露数据的责任人。前提条件 已创建 数据识别规则，详情请参见 配置...
导出至HDFS
如果目标表内已有数据，执行 REPLACE INTO 语句导入时，已有数据保持不变，新数据会被追加到目标数据文件中。说明 写入的外表必须保持列个数的完整，不允许用户指定只写入一部分的列。REPLACE INTO 为增量写入，会额外产生新的文件，不会...
概述
密钥介绍及处理机制 密钥介绍 用户主密钥（MEK）用户主密钥（Master Enryption Key，简称MEK）是一种高级别的加密密钥，用于加密和保护某个系统或某组数据中的其他密钥。在多层次的密钥管理结构中，用户主密钥位于顶层，不直接用于日常的...
设置列索引的排序键
重复执行步骤3，直到合并文件有序排列，然后读取合并文件中的每一行记录，根据偏移值读取数据文件中对应的记录并追加到列存索引中。增量数据排序流程 增量数据的排序流程是渐进式的，不能保证数据完全有序。总体流程如下：将所有的数据块...
Tunnel命令
如果值为True，表示上传的数据文件中可以包含表头，会跳过表头从第二行开始上传数据。mbr 此参数需要配合-dbr 参数使用，当-dbr 设置为true时，设置此参数才有意义。指定可容忍的脏数据量。超过此数据量时，终止上传。默认值为1000条。ni ...
Tunnel命令
如果值为True，表示上传的数据文件中可以包含表头，会跳过表头从第二行开始上传数据。mbr 此参数需要配合-dbr 参数使用，当-dbr 设置为true时，设置此参数才有意义。指定可容忍的脏数据量。超过此数据量时，终止上传。默认值为1000条。ni ...
分析外部OSS上的数据
示例如下：CREATE TABLE `test`(.)COMMENT='columnar=1' CONNECTION='OSS:/${oss_key}:${oss_key_secret}@${endpoint}/${bucket}/orders/2022-09-01/' 上述配置用于读取OSS上 orders/2022-09-01/目录下所有符合条件的文件中的数据。...
OSS-HDFS数据源
类型分类 OSS-HDFS数据类型 整数类 TINYINT、SMALLINT、INT、BIGINT 浮点类 FLOAT、DOUBLE、DECIMAL 字符串类 STRING、CHAR、VARCHAR 日期时间类 DATE、TIMESTAMP 布尔类 BOOLEAN 说明 LONG：OSS-HDFS文件中的整型类型数据，例如 123456789...
HDFS数据源
{"type":"long","index":0/从本地文件文本第一列（下标索引从0开始计数）获取INT字段，index表示从数据文件中获取列数据。},{"type":"string","value":"alibaba"/HDFS Reader内部生成alibaba的字符串字段作为当前字段，value表示常量列。} ...
准备工作
说明 在表格存储中通过控制台或者SDK创建存储电商数据的原始订单表OrderSource，OrderSource表有两个主键UserId（用户ID）和OrderId（订单ID）和两个属性列price（价格）和timestamp（订单时间）。DataV数据可视化 登录DataV的用户名和密码...
快速体验
本文使用阿里电商数据集（commerce_ali_e_commerce 表），带您快速体验数据分析的相关功能。阿里电商数据集介绍：统计淘宝不同时间段的订单详情。表中记录了 2017年11月25日 至 2017年12月3日 之间，约100万用户的随机行为（包括点击、购买...
分析Log4j日志
日志级别从高到低为ERROR、WARN、INFO、DEBUG，日志的输出目的地指定了将日志打印到控制台还是文件中，输出格式控制了输出的日志内容格式。例如某电商公司，希望通过分析用户行为习惯数据（例如用户登录方式、上线的时间点及时长、浏览页面...
文件存储 HDFS 版和对象存储OSS双向数据迁移
本文档介绍 文件存储 HDFS 版 和对象存储OSS之间的数据迁移操作过程。您可以将 文件存储 HDFS 版 数据迁移到对象存储OSS，也可以将对象存储OSS的数据迁移到 文件存储 HDFS 版...因此，建议当您在做数据迁移时，请避免往迁移的文件中写入数据。
通过外表导入至数仓版
ORC文件中的数据类型 AnalyticDB MySQL版 3.0中的数据类型 BOOLEAN BOOLEAN BYTE TINYINT SHORT SMALLINT INT INT或INTEGER LONG BIGINT DECIMAL DECIMAL FLOAT FLOAT DOUBLE DOUBLE BINARY STRING VARCHAR VARCHAR STRING JSON（如果已知...
功能简介
在数据中台建设过程中，搭建核心处理平台，并根据相关标准要求，将源数据或治理后的数据，按照“全面、高效、统筹”的共享原则，“低延时”、“精准化”地传递给用户，方便更多应用消费数据，实现数据价值。协同管控各种组织机构，为智慧化...
构建SaaS平台的事件总线
聚石塔沉淀的大量的电商数据有开放性需求，淘宝和天猫电商可以从这些数据中挖掘出大量的业务价值。为了帮助商家高效地利用聚石塔电商数据，在聚石塔SaaS平台上孵化出了大量的ISVs，这些ISVs为商家开发了一些应用，帮助商家消化电商数据。...
COPY
对于 COPY FROM，文件中的每个字段将按顺序插入到指定列中。COPY FROM 命令的列列表中没有指定的表列则会采纳其默认值。带一个文件名的 COPY 指示 PolarDB服务器直接从一个文件读取或者写入到一个文件。该文件必须是 PolarDB用户（运行...
导入概述
本地文件导入 数据存储在本地文件中，数据量小于10 GB，可以采用Stream Load方法将数据快速导入StarRocks系统。采用HTTP协议创建导入作业，作业同步执行，您可以通过HTTP请求的返回值判断导入是否成功。Kafka导入 数据来自于Kafka等流式...
非结构化分析
向量分析作为 AnalyticDB PostgreSQL版 向量分析的高级特性目前已经服务阿里巴巴内外部多项业务，包括阿里巴巴数据中台，阿里巴巴电商新零售业务，阿里云城市大脑。典型架构 图 1.基于 AnalyticDB PostgreSQL版 实现非结构化数据向量分析...
概述
优势 云原生数据仓库AnalyticDB PostgreSQL版 向量数据库通过自研向量引擎FastANN提供的向量分析能力目前已经在诸多业务中得到了广泛应用，包括阿里巴巴数据中台，阿里巴巴电商新零售业务，阿里云城市大脑，通义千问大模型搭建的问答服务等...
大数据AI公共数据集分析
完成设置后，您即可在SQL文件中进行数据查询命令开发，完成后可单击SQL查询文件操作栏中的 运行 按钮，运行成功后，在SQL文件下方会显示查询结果。本教程为您提供了一些查询示例SQL命令，您可参见下文的 附录：数据查询SQL示例，进行数据...
手动添加数据源
您可以通过 数据库备份DBS 的手动添加数据源功能，将不同环境的数据库添加至 数据库备份DBS 中，便于后续对数据源进行管理与备份。费用说明 添加数据源操作不会产生费用，只有在添加数据源后开启备份才会产生费用。如何开启备份，请参见 ...
管理数据流动任务
本文介绍如何在文件存储控制台创建、管理CPFS数据流动任务及查看任务报告。前提条件 已创建CPFS Fileset。具体操作，请参见 创建Fileset。已创建数据流动。具体操作，请参见 创建数据流动。任务说明 任务类型 按任务对数据的操作，可分为...
最佳实践
Delta-Lake根据列值自动布局文件中的数据，并在查询时使用布局信息跳过不相关的数据。有关详细信息，请参见 Z-Ordering（多维集群）。选择正确的分区列 您可以按列对Delta表进行分区。最常用的分区列是date。遵循以下两个经验法则来确定要...
客户案例
新零售行业：大润发云上数据中台建设 客户架构如下。客户简介 为了快速数字化转型，拥抱新零售，大润发计划两年内将IT系统全面迁移到阿里云上，不再自建IDC。同时与阿里云合作启动数据中台项目，可以帮助大润发降低TCO的同时，更好的依托云...
迁移数据至阿里云NAS
配置数据传输中转节点后，您还要使用迁移工具迁移数据至阿里云文件存储NAS。本文介绍如何通过迁移工具将非阿里云的数据迁移至文件存储NAS。前提条件 已配置数据传输中转节点ECS实例。具体操作，请参见 配置数据传输中转节点。使用SFTP客户...
下载日志备份
数据备份文件 日志备份文件 不支持下载数据备份文件，仅可通过恢复功能将数据恢复到新建实例或原实例上。在 基础备份列表 页签下选择 数据备份 标签页，选择目标备份集进行恢复。支持下载日志备份文件。操作步骤 访问 RDS实例列表，在上方...
快速玩转Tablestore入门与实战
通道服务：表格存储全增量一体消费通道 Tablestore表设计最佳实践 Tablestore+DeltaLake（快速开始）架构原理-架构设计思想 数据中台之结构化大数据存储设计 结构化大数据分析平台设计 云上应用系统数据存储架构演进 Lambda plus：云上大...
读写访问文件类问题
解决方案（推荐）不同进程或不同客户端写入同一文件系统的不同文件中，后续分析处理时再进行归并，这个方案能够很好地解决并发写入导致的问题，同时无需使用文件锁，不会对性能造成影响。对于并发追加写同一个文件（如日志）的场景，可以...
解决方案：免费体验AnalyticDB PostgreSQL版以文搜图
本文为您介绍在实际的电商业务中，通过将商品图片集合的向量化结果存储在云原生数据仓库 AnalyticDB PostgreSQL版 向量检索引擎中，实现以文搜图的高效准确检索。背景信息 在现实世界中，绝大多数的数据都是以非结构化数据的形式存在，如...
使用PTS监测日常业务
为该场景准备文件参数，具体操作步骤，请参见 文件数据源。该示例中导入了两个参数文件，共定义了3个参数，分别是username、password、itemID_global，如下图所示。在 创建PTS场景 页面，编排业务接口（API）。该示例为电商业务，共编排了...
导入接口介绍
您可以发送请求至<gdb-endpoint>:<port>/loader 终端，实现将数据文件从OSS的Bucket中导入至图数据库GDB实例，还可以查看任务状态和删除导入任务。本文介绍添加导入任务（POST）、查看导入任务状态（GET）和删除导入任务（DELETE）的应用...
入门概述
通过NFSv3协议访问CPFS文件系统 协议服务 在服务器中卸载挂载的文件系统 卸载文件系统 删除文件系统 删除文件系统 与对象存储OSS之间实现数据流动 数据流动 监测文件的使用量 数据监控 备份文件系统中的数据 文件存储CPFS（NFS协议）备份 ...
添加DataWorks数据服务数据源
本文介绍在DataV中添加DataWorks数据服务数据源，并将通过DataWorks数据表生成的API，快速地展示在DataV可视化大屏中的方法。前提条件 已准备好待添加的DataWorks数据服务数据源。背景信息 DataWorks数据服务生成的API默认不支持HTTPS协议...
使用PTS监测日常业务
为该场景准备文件参数，具体操作步骤，请参见 文件数据源。该示例中导入了两个参数文件，共定义了3个参数，分别是username、password、itemID_global，如下图所示。在 创建PTS场景 页面，编排业务接口（API）。该示例为电商业务，共编排了...
功能优势
一个数据库可以有多个集合（相当于关系型数据中的表）。云存储 文件存储服务支持文本、图片和其他由用户生成的内容存储到云端。开发者可以在小程序端和控制台使用云存储功能。图片上传成功后，系统会自动生成一个资源链接。开发者可以在小...
电商行业
上传文档生成应用结构：您可以上传已有的数据文件（仅支持JSON格式），系统会自动解析并创建出初始的应用结构（注意字段类型等需要重新定义）通过数据源创建应用结构：适用于通过RDS、MaxCompute（原ODPS）、PolarDB等数据源同步的场景，...
RDS SQL Server空间不足问题
以上操作通常可以有效降低数据空间大小，但是如果实例空间仍然有压力，可以执行 DBCC SHRINKFILE 命令收缩数据文件，将数据文件中未分配空间释放给操作系统。以上图为例，一个区（Extent）的大小为64 KB，因此数据文件的总空间大小为104584...
- 产品推荐
- 这些文档可能帮助您