MapReduce
自然语言处理：基于大数据的训练和预测。基于语料库构建单词同现矩阵，频繁项集数据挖掘、重复文档检测等。广告推荐：用户单击（CTR）和购买行为（CVR）预测。MapReduce流程说明 MapReduce处理数据过程主要分成Map和Reduce两个阶段。首先...
基本概念
DTS 数据传输服务（Data Transmission Service，简称DTS）支持关系型数据库（RDBMS）、非关系型数据库（NoSQL）、数据多维分析（OLAP）等数据源间的数据交互，集数据同步、迁移、订阅、集成、加工于一体，帮助您构建安全、可扩展、高可用的...
性能测试
本文介绍Ganos时空服务与开源GeoMesa（HBase）、云数据库MongoDB分片集群在处理时空轨迹数据时的性能测试对比。测试环境 本次性能测试中需要准备以下测试数据库，具体配置如下表：数据库 配置说明 云原生多模数据库 Lindorm Ganos引擎（即...
表数据格式
数据存储分桶 为了进一步优化读写效率，Transactional Table 2.0支持按照BucketIndex对数据进行切分存储，BucketIndex数据列默认复用PK列，bucket数量可通过配置表属性 write.bucket.num 指定，因此对同一张表或分区的数据，写入数据会按PK...
恢复MongoDB数据库
本文介绍如何通过 数据库备份DBS 恢复已完成备份的MongoDB数据库，可用于误操作后恢复以及分析历史数据等场景。前提条件 已完成数据库备份。相关操作，请参见 MongoDB逻辑备份、从备库备份MongoDB数据库。操作步骤 登录 DBS控制台。单击...
MySQL灾备恢复演练
报告接收者 填写邮箱地址，以接收恢复演练报告。数据库账号 填写具有查询权限的数据库账号。密码 填写该数据库账号的密码。说明 若该参数未填，系统将默认使用数据源的密码。单击 确定。至此，已成功开启并配置恢复演练功能。系统将在下...
全球数据库市场发展与机遇
知名市场研究机构Forrester在最新发布的数据库评估报告《The Forrester Wave™:Database-As-A-Service,Q2 2019》中将阿里云数据库列入“强劲表现者（strong performance）”象限。阿里云数据库技术已先后走过了“商业-开源-自研”的演进...
数据服务入门
步骤一：创建数据源并配置网络连通性 使用数据服务创建API前，您需将数据库或数据仓库添加为DataWorks的数据源，并保障数据服务资源组与您的目标数据源网络连通，以便调用API时DataWorks可成功访问数据源。说明 DataWorks工作空间将集群或...
Logview诊断实践
写表的数据分布情况主要取决于写表的阶段（对应上图的R12）是如何Shuffle和排序的，上图给出的SQL最后的操作是Join，Join Key为如下代码：on t1.query=t2.query and t1.item_id=t2.item_id 研究一下数据的特征，大部分列都是item的属性，也...
产品概述
产品介绍 DataV是一款数据可视化应用搭建产品，让数据可视、价值可见。DataV数据可视化应用搭建平台以丰富的图表组件和二三维时空地理组件为特色，搭配强大的低代码可视化搭建编排能力，可以高效、低成本地完成可视化大屏、PC数据看板、...
区域热力层
数据源 单击 配置数据源，可在 设置数据源 面板中修改数据源类型和数据查询代码、预览数据源返回结果以及查看数据响应结果，详情请参见 配置资产数据。数据过滤器 数据过滤器提供数据结构转换、筛选和一些简单的计算功能。单击 添加过滤器...
区域热力层（v2.x版本）
数据源 单击 配置数据源，可在 设置数据源 面板中修改数据源类型和数据查询代码、预览数据源返回结果以及查看数据响应结果，详情请参见 配置资产数据。数据过滤器 数据过滤器提供数据结构转换、筛选和一些简单的计算功能。单击 添加过滤器...
区域热力层（v3.x版本）
使用GeoJSON行政区划边界提取小工具 DataV.GeoAtlas，最低可以提取区县级边界数据，区域adcode可以查阅 省市区adcode与经纬度映射表，提取方法如下。省级：区域热力层默认显示为全国范围内，各个省和直辖市区域热力层数据，可以直接使用。...
Tunnel命令常见问题
java.io.IOException:Error writing request body to server 产生原因 这是上传数据到服务器时产生的异常，通常是因为上传过程中的网络连接断开或超时导致的：当您的数据源并非是本地文件，需要从数据库等地方获取时，数据在写入的过程中还...
C100售前支持相关问题
数据库审计和其他产品的区别 数据库审计产品相对于自己安装Packetbeat抓取流量审计和RDS数据库自带的SQL洞察功能，有以下区别：支持的数据库协议：数据库审计产品是专注于数据库协议解析的，支持的数据库协议更丰富，解析的粒度更细。数据...
散点层
散点层是3D平面世界地图的子组件，支持独立的样式和数据配置，包括散点的大小、颜色、动画效果以及经纬度等，能够以散点的形式表现地理位置上的点数据信息。本文介绍散点层各配置项的含义。单击 子组件管理 下方的 散点层，进入配置面板...
常见问题
1.售前咨询渠道 尊敬的“准”大数据专家服务用户您好：如果您准备购买阿里云大数据专家服务，但是遇到如服务范围、规格、服务选择等售前方面的问题，您可以通过钉钉与我们联系，您将“当面”获得阿里云大数据专家咨询专家的建议。...
应用场景
实时数据通道 1.1 接入多种异构数据并投递到下游多种大数据系统 通过数据总线，您可以实时接入APP、WEB、IoT和数据库等产生的异构数据，统一管理，并投递到下游的分析、归档等系统，构建清晰的数据流，让您更好的释放数据的价值。...
API概览
UpgradeDBInstanceEngineVersion 升级RDS MySQL数据库大版本 该接口用于升级RDS MySQL的数据库大版本。UpgradeDBInstanceKernelVersion 升级RDS实例内核小版本 该接口用于升级RDS实例的内核小版本。网络与连接地址 API 标题 API概述 ...
快速体验
DataWorks为您提供智能建模、数据清洗、周期调度运维、数据治理等一站式大数据开发管理能力，本文以一个零售电商行业的数仓搭建实验为例，为您介绍DataWorks在数仓搭建过程中的技术选型、技术流程以及流程实现，帮助您深入了解阿里云...
互联网、电商行业离线大数据分析
概述 电商网站的销售数据通过大数据进行分析后，可以在大屏幕展示销售指标、客户指标、销售排名和订单地区分布等业务指标数据。DataV大屏支持可视化动态展示销售数据，触控大屏支持您自助查询数据，极大地提高数据的可读性。应用场景 电商...
MongoDB 4.0
升级数据库小版本 升级数据库大版本 升级数据库小版本：单节点实例不支持升级数据库小版本。升级数据库大版本：MongoDB 3.4：不支持升级数据库大版本。如果您需要升级数据库大版本，可以通过创建新实例，使用新实例替换旧实例的方法实现。...
应用场景
数据分析业务 云数据库 Memcache 版搭配大数据计算服务 MaxCompute。实现对大数据的分布式分析处理，适用于商业分析、挖掘等大数据处理场景。通过数据集成服务可自助实现数据在云数据库 Memcache 版与 MaxCompute 间的同步，简化数据操作...
技术架构选型
本教程中使用阿里云大数据产品MaxCompute配合DataWorks，完成整体的数据建模和研发流程。完整的技术架构图如下图所示。其中，DataWorks的数据集成负责完成数据的采集和基本的ETL。MaxCompute作为整个大数据开发过程中的离线计算引擎。...
配置ClickHouse输出组件
同步其他数据源的数据至ClickHouse数据源的场景中，完成源数据的信息配置后，需要配置ClickHouse输出组件写入数据的目标数据源。本文为您介绍如何配置ClickHouse输出组件。前提条件 在开始执行操作前，请确认您已完成ClickHouse数据源及...
IoT数据自动化同步至云端解决方案
大数据分析是大数据完成数据价值化的重要手段之一，而进行大数据分析的第一步是让数据成功上云。解决方案 IoT数据自动化同步至云端解决方案主要包括存储原始数据和同步数据至分析系统两部分。IoT设备大量的数据通常以半结构化的形式存储。...
混合存储型（已停售）
云原生内存数据库Tair 混合存储型整合了内存和磁盘二者的优势，在提供高速数据读写能力的同时满足了数据持久化的需求。说明 混合存储型已停止售卖，更多信息，请参见【通知】混合存储型实例停止售卖，推荐选择 持久内存型 实例。简介 图 1....
表设计最佳实践
表设计指南 建议将数据信息划分为基本属性表和天气日志表，分别用于存储变化小和变化大的数据。因为天气信息的数据量巨大，在对天气日志表按照地域进行分区后，可以按照时间（例如，天）进行二级分区。此种分区方式可避免发生因某一个地点...
区域热力层（v1.x版本）
数据源 单击 配置数据源，可在 设置数据源 面板中修改数据源类型和数据查询代码、预览数据源返回结果以及查看数据响应结果，详情请参见 配置资产数据。数据过滤器 数据过滤器提供数据结构转换、筛选和一些简单的计算功能。单击 添加过滤器...
数据总览
登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据治理>数据地图，在右侧页面中单击 进入数据地图。在数据地图 首页，单击 元数据采集 后的 数据总览。在数据总览页，查看当前地域阿里云主账号下所有的引擎资源。以...
生成测试数据
背景信息 OceanBase 开发者中心（OceanBase Developer Center，ODC）提供模拟数据功能供用户在测试数据库性能或者验证功能等需要大量模拟数据的场景下，能够快速根据表中的字段类型生成数据。注意事项 单次模拟数据上限为 1 亿行。拥有检查...
数据膨胀诊断
AnalyticDB PostgreSQL版 提供的智能诊断数据膨胀功能，可以定期自动诊断数据库内的所有表，并生成诊断信息表。您可以通过诊断信息表，查看表的膨胀情况并获得相应的处理建议（如执行VACUUM或VACUUM FULL操作）。注意事项 智能诊断数据膨胀...
大数据安全治理的难点
存储 众所周知，大数据系统以数据类型多（结构化、非结构化、半结构化）、数据量大（动辄PB级别）著称，某些巨头组织一天就能新增数十万甚至数百万张表，如此体量给数据分级分类带来了极大挑战，通过人工进行数据分级分类显然是不现实的，...
自媒体：易撰
所属行业：自媒体 网站地址：易撰 客户介绍 长沙营智信息技术有限公司是专业的新媒体大数据服务商，其旗下知名品牌易撰，基于新媒体大数据挖掘技术及NLP算法分析，为各内容创客、广告主提供全面、科学、精准的大数据分析服务以及大数据架构...
构建数据仓库
DataWorks具有通过可视化方式实现数据开发、治理全流程相关的核心能力，本文将为您介绍DataWorks在构建云上大数据仓库和构建智能实时数据仓库两个典型应用场景下的应用示例。构建云上大数据仓库 本场景推荐的架构如下。适用行业：全行业...
亿海蓝-航运大数据的可视化案例
示例使用场景如下：大宗航线繁忙度分析 铁矿石LNG等货种航线分布 港口业务强度分析 内河横向截面的多航道通行量研究 区域内船舶周期性活动强度研究 对政策面影响区域业务活动强度的研究 业务挑战 数据访问要求高效性。一旦数据查询性能低，...
产品优势
数据安全中心DSC（Data Security Center）可扫描和识别海量数据，帮您实时获取数据的安全状态。本文介绍 数据安全中心 的产品优势。合规性 使用数据安全中心产品，可以帮助企业满足等保2.0对“云计算环境下安全审计”及“个人信息保护”的...
客户案例
DataWorks在多个行业中均有典型的案例落地，帮助多个行业的企业解决数据痛点，挖掘数据价值，本文为您介绍典型行业中已落地的客户案例。新零售行业：大润发云上数据中台建设 客户架构如下。客户简介 为了快速数字化转型，拥抱新零售，...
DMS支持的数据库
本文介绍数据管理DMS支持录入的云数据库、他云/自建的数据库类型。支持的云数据库 关系型数据库 RDS MySQL RDS SQL Server RDS PostgreSQL RDS MariaDB PolarDB MySQL版 PolarDB PostgreSQL版 PolarDB PostgreSQL版（兼容Oracle）PolarDB...
通用数据开发
通常数据开发的总体流程包括数据产生、数据收集与存储、数据分析与处理、数据提取和数据展现与分享。说明 上图中，虚线框内的开发流程均可基于阿里云大数据平台完成。数据开发的流程如下所示：数据产生：业务系统每天会产生大量结构化的...
- 产品推荐
- 这些文档可能帮助您