什么是DataWorks
DataWorks基于MaxCompute、Hologres、EMR、AnalyticDB、CDP等大数据引擎，为数据仓库、数据湖、湖仓一体等解决方案提供统一的全链路大数据开发治理平台。从2009年起，DataWorks不断沉淀阿里巴巴大数据建设方法论，支撑数据中台建设，同时与...
DataWorks On MaxCompute使用说明
开始使用：数据分析 DataWorks数据分析提供MaxCompute数据分析与服务共享能力。开始使用：数据治理 DataWorks提供 MaxCompute 元数据管理与数据治理能力。开始使用：数据服务 DataWorks提供数据服务能力，帮助您统一管理面向内外部的API...
产品优势
专业级地理信息可视化效果 DataV支持基础平面地图、3D平面地图和3D地球等地理信息组件，以及地理轨迹、网格聚合、矢量散点、地理飞线、热力分布等渲染效果，满足各类地理数据分析场景。高性能的可视化渲染能力 DataV将游戏级三维渲染的能力...
产品优势
专业级地理信息可视化 效果 DataV支持基础平面地图、3D平面地图和3D地球等地理信息组件，以及地理轨迹、网格聚合、矢量散点、地理飞线、热力分布等渲染效果，满足各类地理数据分析场景。高性能的可视化渲染能力 DataV将游戏级三维渲染的...
DataWorks On CDP/CDH使用说明
开始使用：数据分析 DataWorks数据分析提供CDP及CDH数据分析与服务共享能力。开始使用：数据治理 DataWorks提供 CDP及CDH 元数据管理与数据治理能力。开始使用：数据服务 DataWorks提供数据服务能力，帮助您统一管理面向内外部的API服务。...
减灾与应急时空解决方案与案例
公司主营OpenRIS灾害风险大数据平台提供了海量灾害数据的快速地图展示、统计查询、切割下载、上传数据定制化在线分析等功能，实现了灾害数据与模型一体化云服务。在数据与系统上云过程前，遇到了如下挑战：长期积累的时空数据类型多、数据...
常见问题
数据分类使用预先定义的分类规则和方法，对信息资产进行组织，为数据分析和治理提供有效的优先级策略。数据分类是数据价值分析和评估的前提条件。数据安全中心DSC根据为不同行业预先定义的敏感数据关键字段，扫描MaxCompute、OSS、阿里云...
逻辑数仓
数据管理DMS提供的逻辑数仓具有强大的数据源管理能力，可以实现将企业的异构数据源进行逻辑聚合，形成物理分散、逻辑统一的虚拟数仓，然后快速地提供数据分析和访问服务，满足业务人员、BI分析师、运营人员等各种角色的需求。背景信息 企业...
Napatech案例
Lindorm支持海量数据的低成本存储、快速批量导入和实时访问，具备高效的增量及全量数据通道，可轻松与各类大数据平台集成，完成数据的大规模离线分析。基于Lindorm的解决方案，用户在采用到100Gbps+流量产生的大量数据包元数据直接通过...
导出数据
分析型数据库MySQL版对海量数据分析计算后支持输出（DUMP）数据结果，目前支持两种DUMP方式：导出数据到OSS 导出数据到MaxCompute
DataWorks On EMR使用说明
数据建模与开发 5 DataWorks数据分析提供EMR数据分析与服务共享能力。数据分析 6 DataWorks提供EMR元数据管理与数据治理能力。数据治理 7 DataWorks提供数据服务能力，帮助您统一管理面向内外部的API服务。数据服务 8 DataWorks支持开放...
数据科学计算概述
PyODPS DataFrame提供了很多pandas-like的接口，但扩展了它的语法，比如增加了MapReduce API来扩展以适应大数据环境。内置聚合、排序、去重、采样、可视化绘图等常用函数。Mars 在Python生态中，有NumPy、Pandas、Scikit-Learn等丰富的科学...
功能发布记录（2022年）
2022.11.16 所有地域 所有DataWorks用户 业务视角管理：数据专辑 DataWorks数据分析新版升级，全新的SQL查询体验 DataWorks数据分析，新增功能如下：支持用户统一管理个人名下的所有SQL文件及辅助取数工作常用的数据表集合。支持有权限的...
什么是数据库审计
数据库审计服务是一款专业、主动、实时监控数据库安全的审计产品，可用于审计阿里云原生数据库和自建数据库。数据库审计服务将数据库监控、审计技术与公共云环境相结合，针对数据库SQL注入、风险操作等数据库风险行为进行记录与告警，形成...
常见问题
数据湖后端存储使用OSS，用户使用数据湖构建面向大数据分析和机器学习场景可以获得集中式权限管理和统一的元数据视图，更容易对接云上大数据和分析产品。什么情况下我需要使用数据湖构建？在云上有数据分析和机器学习需求，希望构建云上的...
高效数据治理实施指南
成效难跟踪：缺乏及时的数据分析和治理效果跟踪，也无法快速根据目标达成情况调整治理策略。数据治理中心是DataWorks中践行主动化、自动化数据治理理念的产品模块。为了解决以上问题，治理中心提供了多个场景化治理计划模板，包含数据稳定...
MaxCompute作业概述
MaxCompute中数据开发作业主要存在以下三种类型：周期性调度作业、数据集成作业、数据分析作业。典型场景 创建作业：创建ODPS SQL节点、数据传输作业：数据集成、数据分析作业。查看作业运行信息：使用Logview查看作业运行信息、在...
基于SLS+OSS+DLA构建海量、低成本日志分析方案
方案介绍 对于数据分析人员、开发人员或者运维人员而言，日志数据对分析和诊断问题以及了解系统活动等有着非常重要的作用，日志都是其工作过程中必不可缺的数据来源。为了节约成本，通常情况下日志会被设定一定的保存时间，此类日志称之为...
计费逻辑说明
软件费用明细：数据建模 增强分析 DataWorks增强分析提供卡片和报告功能，您无需下载数据，即可快速完成数据可视化分析与报告创作，您可以根据需要创建的报告数及使用时长进行购买。软件费用明细：增强分析 资源费用 数据集成 数据集成提供...
产品概述
DataV-Atlas 可视分析地图 DataV-Atlas可视分析地图是阿里云专为地理空间数据而设计的专业分析工具。该工具支持快速展示和实时分析海量时空数据，同时还能通过SQL分析工具对用户数据库中的空间数据进行多维度的灵活分析。该工具能够帮助...
升级数据库大版本
升级数据库大版本所用时间与数据库的数据量有关，请根据业务情况提前安排升级时间。升级数据库大版本后不支持降级数据库大版本。升级数据库大版本后，低版本的备份数据不能恢复至云数据库MongoDB实例。您可以下载备份文件，将低版本的备份...
权限管理与规范化数据开发
其中生产环境的MaxCompute访问身份即调度访问身份，是开发任务发布到生产环境进行周期性调度运行时所使用的身份，通常情况下为保证调度任务顺利进行，比起开发者自己的身份来，调度访问身份往往拥有较大数据范围读写权限。生产环境...
什么是数据库自治服务DAS
数据库的安全风险大 随着数据价值的提升，企业的数据面临着越来越多的内部或者外部的攻击，数据泄漏、数据丢失等问题层出不穷。未授权或者不可预期或者错误的数据库访问和使用。数据泄漏。数据损坏。黑客攻击。软硬件bugs，导致数据异常。...
JindoFS实战演示
Flink高效sink写入OSS Flink高效sink写入OSS 2021-06-01 当您需要将流式数据写入OSS，或者需要在线分析数据时，可能会遇到的问题：开源Apache Flink还不支持直接写入OSS、Hadoop OSS SDK写入性能不满足需求。此时您可以使用JindoFS Flink ...
从Oracle迁移应用至阿里云PolarDB全流程指南
数据传输DTS：数据传输服务（Data Transmission Service）DTS支持关系型数据库、NoSQL、大数据（OLAP）等数据源间的数据传输。它是一种集数据迁移、数据订阅及数据实时同步于一体的数据传输服务。数据传输致力于在公共云、混合云场景下，...
发现并处理大Key和热Key
在使用 云原生内存数据库Tair 的过程中，如果未能及时发现并处理Big keys（下文称为“大Key”）与Hotkeys（下文称为“热Key”），可能会导致服务性能下降、用户体验变差，甚至引发大面积故障。本文将介绍大Key与热Key产生的原因、其可能...
内置时空数据引擎Ganos
空间和时空数据具有非结构化、体量大、数据密集兼具计算密集以及较高安全合规属性。PolarDB PostgreSQL版（兼容Oracle）的自研Ganos时空SQL引擎支持直接在数据库中就完成不同时空维度数据的信息检索及处理，相比传统需要跨库信息提取再汇总...
产品优势
云原生数据湖分析DLA（Data Lake Analytics）是新一代大数据解决方案，采取计算与存储完全分离的架构，支持数据库与消息实时归档建仓。DLA提供弹性的Spark与Presto，满足在线交互式查询、流处理、批处理、机器学习等诉求，也是传统Hadoop...
功能特性
Hudi存储 数据导入与导出 功能集 功能 功能描述 参考文档 大数据数据源 Maxcompute数据源 AnalyticDB for MySQL支持通过外表、DataWorks两种方式将MaxCompute数据导入至数仓版或湖仓版集群，也支持通过外表将AnalyticDB for MySQL数仓版...
品牌升级
无论是数据湖中的非结构化或半结构化数据，还是数据库中的结构化数据，您都可使用 AnalyticDB for MySQL 构建企业的数据分析平台，同时完成高吞吐离线处理和高性能在线分析，实现降本增效。此次品牌升级，存量分析型数据库MySQL版（ADS）...
OSS访问日志分析
如果您选择的Bucket已开通日志转存功能，单击 确定 自动跳转到数据湖 SQL执行 页面，您可以在 SQL执行 页面对OSS访问日志进行数据分析，日志字段的含义请参见 日志转存。常见问题 首次开通OSS日志转存后，立刻在DLA中执行SQL查询遇到以下...
RDS SQL Server空间不足问题
回收和释放数据空间 分析 数据空间的总大小（即所有数据文件大小总和）是由已分配（Allocated）空间和未分配（Unallocated）空间两部分组成：已分配空间包括已使用（Used）空间和未使用（Unused）空间，未使用空间只能分配给同一表或索引...
LTS（原BDS）服务介绍
在线离线业务分离 通过LTS，将在线业务数据实时同步到HDFS或者OSS等存储，结合Spark、MR等大数据组件进行数据分析，从而不影响在线业务的查询。主备容灾 通过LTS在主备集群之间实现实时数据的双向同步，当主集群出现问题，可以切换到备集群...
基本概念
每个项目都是一个数据分析地图，拥有独立的数据源和分析图层。数据源 用户可以在项目中添加数据表，这些数据表可以从已经连接的数据库中选择添加。表类型 项目中支持多种表格类型，每种表格的显示图标都不相同，包括但不限于矢量、栅格、...
应用场景
数据分析业务 云数据库 Memcache 版搭配大数据计算服务 MaxCompute。实现对大数据的分布式分析处理，适用于商业分析、挖掘等大数据处理场景。通过数据集成服务可自助实现数据在云数据库 Memcache 版与 MaxCompute 间的同步，简化数据操作...
有数BI
AnalyticDB MySQL版 支持您将 AnalyticDB MySQL版 数据接入网易有数BI，帮助您轻松完成数据分析和数据可视化工作。本文为您介绍如何使用网易有数BI连接 AnalyticDB MySQL版，并进行可视化数据分析。前提条件 在执行操作前，请确认您已满足...
DataWorks V3.0
交互式分析：交互式分析（Interactive Analytics）是一种全面兼容PostgreSQL协议，并与大数据生态无缝打通的实时交互式分析产品。交互式分析支持对万亿级数据进行高并发、低延时、多维分析透视和业务探索，可以让您快速对接现有的BI工具。...
资产全景及目录概述
整体概述 Dataphin的数据资产功能，基于数据资产管理的规范及方法论，帮助您对数据资产进行盘点评估：支持自动化提取分析元数据，可视化构建数据资产大图，便于管理者发现与了解数据资产价值。支持对数据生产中的计算、存储、安全、应用等...
资产全景及目录概述
整体概述 Dataphin的数据资产功能，基于数据资产管理的规范及方法论，帮助您对数据资产进行盘点评估：支持自动化提取分析元数据，可视化构建数据资产大图，便于管理者发现与了解数据资产价值。支持对数据生产中的计算、存储、安全、应用等...
LTS（原BDS）服务介绍
在线离线业务分离 通过LTS，将在线业务数据实时同步到HDFS或者OSS等存储，结合Spark、MR等大数据组件进行数据分析，从而不影响在线业务的查询。主备容灾 通过LTS在主备集群之间实现实时数据的双向同步，当主集群出现问题，可以切换到备集群...
- 产品推荐
- 这些文档可能帮助您