SSB性能测试说明

场景说明 本测试场景中SSB的生成工具中使用SF(scale factor)控制生成数据量的大小,1SF对应1 GB。说明 以上数据量仅针对原始数据的数据量,不包括索引等空间占用,因此在准备环境时,您需要预留更多的空间。准备工作 您需要准备OLAP查询...

TPC-DS性能测试说明

重要 创建实例时请关注云盘的容量,避免生成数据集大小超过云盘容量。dataset_generate_root_path 存放生成测试数据集的路径。默认值为/mnt/disk1/starrocks-benchmark/datasets。步骤二:执行测试 执行以下命令,进行自动化TPC-DS数据加载...

数据服务入门

步骤一:创建数据源并配置网络连通性 使用数据服务创建API前,您需将数据库或数据仓库添加为DataWorks的数据源,并保障数据服务资源组与您的目标数据源网络连通,以便调用API时DataWorks可成功访问数据源。说明 DataWorks工作空间将集群或...

采集数据

本教程以MySQL中的用户基本信息(ods_user_info_d)表及OSS中的网站访问日志数据(user_log.txt)文件,通过数据集成离线同步任务分别同步至MaxCompute的ods_user_info_d、ods_raw_log_d表为例,为您介绍如何通过DataWorks数据集成实现异构...

时间属性配置说明

重跑说明 用于定义节点生成的实例是否可以重跑,即从数据幂等性考虑,任务是否可以重跑,或者在什么情况下可以重跑。生效日期 用于定义节点正常自动调度运行的时间范围,该时间范围外,节点将不再自动调度。使用说明 调度任务的时间属性...

X-Engine最佳实践

阿里图片空间信息库 阿里巴巴集团图片空间是淘宝智能图片中心面向商家提供的免费图片存储管理服务,由于淘宝、天猫主站上累积的用户图片数据量非常图片空间业务也面临非常巨大的存储空间和写入性能压力,尤其每年双11之前,商家大量...

时空数据库版本发布记录

本文介绍PolarDB PostgreSQL版时空数据库(Ganos)的版本更新说明。6.X 6.2 类别 说明 新增特性 新特性 Geometry SQL 新增参数化对象椭圆弧和贝塞尔曲线。Raster SQL 新增 ST_AsTile 函数,支持通过指定Geometry获取规则大小(256或512)的...

时空数据库版本发布记录

本文介绍PolarDB PostgreSQL版(兼容Oracle)时空数据库(Ganos)的版本更新说明。6.X 6.2 类别 说明 新增特性 新特性 Geometry SQL 新增参数化对象椭圆弧和贝塞尔曲线。Raster SQL 新增 ST_AsTile 函数,支持通过指定Geometry获取规则大小...

产品优势

行业独特的智能设计 DataV将计算机视觉和AI辅助进行合并增强,通过使用参考素材或者自定义上传参考图片,智能分析可视化元素,并将生成可视化图表的时间压缩至秒级,快速生成数据可视化大屏。智能主题配色 DataV通过识别设计稿或者图片,...

产品优势

行业 独特 的智能设计 DataV将计算机视觉和AI辅助进行合并增强,通过使用参考素材或者自定义上传参考图片,智能分析可视化元素,并将生成可视化图表的时间压缩至秒级,快速生成数据可视化大屏。智能主题配色 DataV通过识别设计稿或者图片,...

产品简介

大数据专家服务 大数据专家服务(Bigdata Expert Service)是由阿里云大数据专家基于阿里云多年大数据架构、应用、运维、AI算法建模等最佳实践经验及方法论为用户提供全方位的大数据产品技术、咨询服务及售后专家服务运维保障,帮助用户...

生成数据库脚本

本文为您介绍如何生成数据库脚本。操作步骤 登录BizWorks,在 选择平台 下拉列表中选中 建模平台。单击页面右上角 图标或其文本框区域,在下拉列表中单击目标项目名称后,单击 建模 页签。在 建模 导航栏中,选择 技术建模>限界上下文。在 ...

使用识图创建PC端可视化应用

若没有自动跳转至可视化应用界面,您可以在当前参考图片生成结果页面的 创建成功 对话框中,单击 确定 即可前往当前可视化应用画布编辑页,查看生成的可视化应用内容;单击 取消 即可在此页面继续其他操作。返回 我的可视化 页面,查看创建...

应用场景

实时数据通道 1.1 接入多种异构数据并投递到下游多种大数据系统 通过数据总线,您可以实时接入APP、WEB、IoT和数据库等产生的异构数据,统一管理,并投递到下游的分析、归档等系统,构建清晰的数据流,让您更好的释放数据的价值。...

使用识图创建PC端看板

在生成结果页面,您可以选择任一已生成的结果样式,一键生成数据看板。当前参考图片生成结果页面包括如下几个功能。替换参考图片:单击 当前参考图片 右下角的 替换,重新上传。选择生成结果:鼠标移动到 生成结果 区域内的任一图片处,...

什么是DataWorks

DataWorks基于MaxCompute、Hologres、EMR、AnalyticDB、CDP等大数据引擎,为数据仓库、数据湖、湖仓一体等解决方案提供统一的全链路大数据开发治理平台。从2009年起,DataWorks不断沉淀阿里巴巴大数据建设方法论,支撑数据中台建设,同时与...

数据服务:低成本快速发布API

数据服务支持通过零代码或自助SQL的双模式,将各类数据源下的数据表生成数据API,同时支持函数计算来辅助加工API的请求参数及返回结果。数据服务采用Serverless架构,用户无需关心运行环境等基础设施,即可将API服务一键发布至API网关。...

生成测试数据

背景信息 OceanBase 开发者中心(OceanBase Developer Center,ODC)提供模拟数据功能供用户在测试数据库性能或者验证功能等需要大量模拟数据的场景下,能够快速根据表中的字段类型生成数据。注意事项 单次模拟数据上限为 1 亿行。拥有检查...

表删除,更新和合并

对于所有操作,如果由生成目标列的表达式生成数据类型与目标Delta表中的对应列不同,merge会尝试将其转换为表中的类型。自动架构演变 重要 merge 中的架构演变在Databricks Runtime 6.6及更高版本中可用。默认情况下,updateAll和...

大数据安全治理的难点

存储 众所周知,大数据系统以数据类型多(结构化、非结构化、半结构化)、数据(动辄PB级别)著称,某些巨头组织一天就能新增数十万甚至数百万张表,如此体量给数据分级分类带来了极挑战,通过人工进行数据分级分类显然是不现实的,...

构建数据仓库

DataWorks具有通过可视化方式实现数据开发、治理全流程相关的核心能力,本文将为您介绍DataWorks在构建云上大数据仓库和构建智能实时数据仓库两个典型应用场景下的应用示例。构建云上大数据仓库 本场景推荐的架构如下。适用行业:全行业...

创建同步ElasticSearch

5.ID属性列 用户可以根据写入DataHub的数据生成写入ES的数据id,也可以不选择任何列,由ES将会为每条数据生成一个唯一的id。DataHub同步ES时,将会以用户选择的列的值作为一条数据的id,如果选择多列,则多列的值会以“|”分割作为一条...

客户案例

价值体现 从大数据平台上云整体“降本增效”的方案快速切入,迁移到大数据MaxCompute、实时计算、DataWorks后,部分任务有10倍以上的性能提升,存储从自建Hadoop 3PB降到900T,利用Flink实时数据处理能力,将宝宝树现有的场景实时化(...

通用数据开发

通常数据开发的总体流程包括数据产生、数据收集与存储、数据分析与处理、数据提取和数据展现与分享。说明 上图中,虚线框内的开发流程均可基于阿里云大数据平台完成。数据开发的流程如下所示:数据产生:业务系统每天会产生大量结构化的...

数据标准

数据是由特定的环境产生的,这些环境因素包括生产者、时间、系统等,从而造成了同一个语义的数据,有...说明 目前使用DDM进行数据建模可以进行逻辑建模和物理建模,但物理建模仅支持MaxCompute和Hive两种大数据引擎,不支持自定义数据源类型。

构建数据

性能测试以TPC-H 100GB数据为测试数据,使用标准的DBGEN工具构造样本数据。说明 本文的TPC-H的实现基于TPC-H的基准测试,并不能与已发布的TPC-H基准测试结果相比较,本文中的测试并不符合TPC-H基准测试的所有要求。从 TPC官网 下载TPC-H...

数据质量管理流程

数据质量的管理流程包括业务数据资产定级、加工卡点、风险点监控和及时性监控,您可以构建属于自己的数据质量保障体系。数据质量管理的流程图如下。数据质量管理的流程说明如下:分析业务场景,对数据流转链路上的整个依赖关系,进行资产...

数据质量管理流程

数据质量的管理流程包括业务数据资产定级、加工卡点、风险点监控和及时性监控,您可以构建属于自己的数据质量保障体系。数据质量管理的流程图如下。数据质量管理的流程说明如下:分析业务场景,对数据流转链路上的整个依赖关系,进行资产...

云产品集成

您可以使用 DMS 录入云数据库 OceanBase 的数据,通过 DMS 的全域数据资产管理、数据治理、数据库设计开发、数据集成、数据开发和数据消费等功能,帮助企业高效、安全地挖掘数据价值,助力企业数字化转型。什么是数据管理DMS 支持的数据库...

创建与管理数据模型

系统会根据数据模型 编码 自动生成 数据库表名,表名用于生成DDL脚本。如果您需要修改生成规则,可以返回 数据模型 页面,选择 更多>表信息生成规则设置,在 设置表信息生成规则 面板更改设置。单击 字段 页签,单击 添加字段,如果您选择 ...

实时消费Kafka数据

当您需要将Kafka数据写入 AnalyticDB PostgreSQL版,且不希望使用其他数据集成工具时,可以通过实时数据消费功能直接消费Kafka数据,减少实时处理组件依赖,提升写入吞吐。Apache Kafka是一个容错、低延迟、分布式的发布-订阅消息系统。...

DataWorks模块使用说明

使用流程概览:参考文档:数据集成概述 数据建模与开发 子模块:数据建模 功能说明:数据建模是全链路数据治理的第一步,沉淀阿里巴巴数据中台建模方法论,从数仓规划、数据标准、维度建模、数据指标四个方面,以业务视角对业务的数据进行...

步骤五:启动实例并插入数据

每3秒执行一次生成数据的写入 DELIMITER$CREATE PROCEDURE executeStatement3000Times()BEGIN DECLARE i INT DEFAULT 0;WHILE i(id,buyer_id,sku_type,sku_quantity,gmt_create)VALUES(default,FLOOR(RAND()*10),getSkuId(),FLOOR(RAND()*...

AnayticDB PostgreSQL版钉钉专属AI解决方案

方案概述 AnalyticDB PostgreSQL版 联合钉钉推出企业专属AI解决方案,由 AnalyticDB PostgreSQL版 提供企业私域数据的存储、向量化、向量检索及召回服务,由钉钉提供上层AI应用解决方案,可应用于自然语言生成报表、文档查找、新人培训、...

数据上云场景

MMA利用Meta Carrier连接您的Hive Metastore服务,获取Hive Metadata,并利用这些数据生成用于创建MaxCompute表和分区的DDL语句以及用于迁移数据的Hive UDTF SQL。详细信息请参见 MMA概述。数据数据同步 数据库的数据同步到MaxCompute...

测试数据构建

数据管理DMS的测试数据构建功能拥有强大的算法引擎,支持批量生成各类随机值、地区名、虚拟IP地址等信息,可以大大减轻准备测试数据的负担。本文介绍构建测试数据的方法。前提条件 支持的数据库类型:MySQL:RDS MySQL、PolarDB MySQL版、...

实验介绍

数据采集 数据加工 配置数据质量监控 数据可视化展现 目标人群 开发工程师、数据分析师、产品运营等存在数仓数据获取与数据分析洞察人员。涉及产品 本案例涉及以下产品:一站式大数据开发治理DataWorks 本案例通过DataWorks实现数据采集,...

RDS增量数据同步至MaxCompute

对恒定的存量数据进行增量同步 由于数据生成后不会发生变化,因此可以很方便地根据数据生成规律进行分区。较常见的是根据日期进行分区,例如每天1个分区。在RDS数据库中,执行下述语句准备数据。drop table if exists oplog;create table...

RDS增量数据同步至MaxCompute

对恒定的存量数据进行增量同步 由于数据生成后不会发生变化,因此可以很方便地根据数据生成规律进行分区。较常见的是根据日期进行分区,例如每天1个分区。在RDS数据库中,执行下述语句准备数据。drop table if exists oplog;create table...

冷热分层

背景信息 在海量大数据场景下,随着业务和数据量的不断增长,性能和成本的权衡成为大数据系统设计面临的关键挑战。Delta Lake是新型数据湖方案,推出了数据流入、数据组织管理、数据查询和数据流出等特性,同时提供了数据的ACID和CRUD操作...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
云数据库 RDS 云数据库 Redis 版 数据库备份 数据传输服务 弹性公网IP 短信服务
新人特惠 爆款特惠 最新活动 免费试用