功能简介
在数据中台建设过程中，搭建核心处理平台，并根据相关标准要求，将源数据或治理后的数据，按照“全面、高效、统筹”的共享原则，“低延时”、“精准化”地传递给用户，方便更多应用消费数据，实现数据价值。协同管控各种组织机构，为智慧化...
统一服务
在数据中台建设过程中，搭建核心处理平台，并根据相关标准要求，将源数据或治理后的数据，按照“全面、高效、统筹”的共享原则，“低延时”、“精准化”的传递给用户，方便更多应用消费数据，实现数据价值。协同管控各种组织机构，为智慧化...
功能简介
在数据中台建设过程中，搭建核心处理平台，并根据相关标准要求，将源数据或治理后的数据，按照“全面、高效、统筹”的共享原则，“低延时”、“精准化”地传递给用户，方便更多应用消费数据，实现数据价值。协同管控各种组织机构，为智慧化...
数据服务
背景信息 数据服务提供了数据中台建设过程中的数据服务化能力，面向数据开发者提供覆盖各个加工阶段统一体验的、便捷的数据查询转服务、服务管理、服务运维能力；面向数据资产管理者提供服务的统计分析、服务用量统计分析，实现数据中台...
空间数据（邀测中）
入库任务 支持将Shapefile、GeoJSON和CSV文件类矢量数据添加到系统默认的空间数据库或者指定的PostGIS、Ganos数据库，方便对空间数据库进行空间检索、数据质检、血缘记录，打通数据...，使得空间数据被用于数仓建设、标签管理等数据中台任务...
功能简介
入库任务 支持将Shapefile、GeoJSON和CSV文件类矢量数据添加到系统默认的空间数据库或者指定的PostGIS、Ganos数据库，方便对空间数据库进行空间检索、数据质检、血缘记录，打通数据...，使得空间数据被用于数仓建设、标签管理等数据中台任务...
极简模式控制台
老用户进入DMS控制台是以正常模式呈现，可以手动切换进入极简模式的控制台。极简模式 界面展示 界面介绍 ①全部功能入口；②显示常用的功能及收藏的功能；③展示全部的数据库实例；④控制左侧数据库实例列表和功能展示；⑤计费相关、查看...
购买指引
场景2：老用户升级推荐配置 推荐配置 推荐原因 功能：推荐购买 企业版，企业版具备完整的数据开发治理功能，包含各类安全合规能力，并且开放OpenAPI定制化能力。资源：推荐购买各类独享资源组，公共资源组高峰期会延时产出，购买独享资源组...
什么是DataWorks
从2009年起，DataWorks不断沉淀阿里巴巴大数据建设方法论，支撑数据中台建设，同时与数万名政务、央国企、金融、零售、互联网、能源、制造、工业等行业的客户携手，不断提升数据应用效率，助力产业数字化升级。产品架构 DataWorks十多年...
【通知】数据可视化（老）功能下线通知
说明 部分用户指在2023年04月01日至2024年04月01日这一年内，没有在数据可视化（老）功能中创建数据集或仪表盘的用户。针对所有用户，下线数据可视化（老）中创建数据集、图表和仪表盘的入口。2024年06月30日：针对所有用户，下线数据可视...
规格及选型
案例二：互联网SaaS用户 用户为互联网SaaS客户，需要建立数据中台，涉及多数据源包括RDS、Flink、OSS等，期待在平台上完成数据的ETL流程，实现多源处理以及分析侧不同场景的混合负载支持，需要高稳定性保证，同时平台对接数据应用支持报表...
会员中台概述
会员中台作为企业的客户...会员中台拥有五大版块，分别为：用户中心、订单中心、商品中心、促销中心、忠诚度系统。使用说明 前提条件：购买会员中台功能包，具体信息请参见 售卖清单和计费说明。权限限制：支持组织管理员、空间管理员使用。
功能发布记录（2023年）
2023.08.24 华北2（北京政务云）华东2（上海金融云）华东2（上海）华东1（杭州）华北2（北京）华南1（深圳）西南1（成都）中国（香港）新加坡 美国（硅谷）德国（法兰克福）印度尼西亚（雅加达）DataWorks企业版及以上版本用户 数据治理...
EMR+DLF数据湖解决方案
步骤三：初始化数据 初始化数据一般常见的几种情况如下：已有大数据集群，需要进行数据迁移，此时可以考虑通过 Jindo DistCp 工具将老集群的数据迁移到OSS中。从RDS/MySQL/Kafka 等业务系统接入数据，此时可以考虑通过实时计算Flink实现...
将云消息队列 Kafka 版的数据迁移至MaxCompute
本文介绍如何使用DataWorks数据同步功能，将 云消息队列 Kafka 版 集群上的数据迁移至阿里云大数据计算服务MaxCompute，方便您对离线数据进行分析加工。前提条件 在开始本教程前，确保您在同一地域中已完成以下操作：云消息队列 Kafka 版 ...
基于SLS+OSS+DLA构建海量、低成本日志分析方案
方案介绍 对于数据分析人员、开发人员或者运维人员而言，日志数据对分析和诊断问题以及了解系统活动等有着非常重要的作用，日志都是其工作过程中必不可缺的数据来源。为了节约成本，通常情况下日志会被设定一定的保存时间，此类日志称之为...
查询报错问题
查询报错 QUERY_EXCEED_LIMIT ErrMsg:groups 100000001 exceed limit=>10000000 用户在执行SQL查询用limit处理分页时，如果start值限制10000无法获取10000以后的数据，如：LIMIT 1000000,20。分析型数据库MySQL版对分页数量有限制，即查询...
配置数据识别规则
如果您是已使用过数据保护伞的老用户，进入数据识别规则页面后需要您根据需求在左侧区域创建数据分类。单击 未分类 后的 图标添加分类。说明 分类名称必须唯一，仅支持中英文、数字，长度限制1~30个字符。删除时请先确认该分类下是否有已...
DMS数据管理预案助力业务大促
开启数据水印功能 您可以在DMS中开启 防泄露数字水印 功能，系统将在整个控制台中同时提供水印，保障您的数据信息安全，防止截图等数据泄露事件。具体操作，请参见 防泄露数字水印。敏感数据管控 有效识别敏感数据的分布，进行细粒度权限...
功能发布记录（2022年）
所有DataWorks用户 数据集成审批策略 数据保护伞新增敏感数据血缘可视化图谱 新增敏感数据血缘可视化图谱，功能如下：基于数据的生产信息解析出敏感字段之间的血缘关系，将其中敏感字段类型相同的血缘关系进行识别结果扩散，极大提高识别...
保险行业解决方案与案例
也是信创工作中的重点和难点，因此该公司以数据库替代作为信创工作的切入点和突破口，计划用一年时间完成所有系统的数据库信创替代，根据实际情况逐步分步实施，利用 PolarDB PostgreSQL版（兼容Oracle）充分发挥高度兼容原生产数据库的...
视频个性化推荐（协同过滤）
视频交互方式（用户行为事件/event）：“视频有曝光给用户”（expr）、“用户浏览了视频"（click）、“用户点赞了视频“（praise）实施策略 实施策略如下：相似视频挖掘（I2I）：通过用户的视频交互行为数据挖掘视频与视频之间的相关性，您...
公告
显著提升数据治理水平，Dataphin将进一步加强资产治理方向的投入，正式更名为“智能数据建设与治理Dataphin”，希望能够更好的助力企业构建质量可靠、消费便捷、生产安全经济的企业级数据中台。更名公告，请参见 Dataphin更名通知。2020年...
基本概念
DTS 数据传输服务（Data Transmission Service，简称DTS）支持关系型数据库（RDBMS）、非关系型数据库（NoSQL）、数据多维分析（OLAP）等数据源间的数据交互，集数据同步、迁移、订阅、集成、加工于一体，帮助您构建安全、可扩展、高可用的...
BigQuery数据迁移至MaxCompute
本文为您介绍如何通过公网环境将谷歌云GCP（Google Cloud Platform）的BigQuery数据集迁移至阿里云MaxCompute。前提条件 类别 平台 要求 参考文档 环境及数据 谷歌云GCP 已开通谷歌BigQuery服务，并准备好环境及待迁移的数据集。已开通谷歌...
升级数据库代理规格
数据库代理企业版默认的规格可以满足用户绝大部分的应用场景。当客户进行压力测试或者业务吞吐量很高时，当前新版本的数据库代理规格会自动随着代理的负载实时升级，避免数据库代理成为瓶颈。对于老版本的数据库代理，您也可以手动升级其...
分区分桶
为了帮助您深入理解 云数据库 SelectDB 版 的分区分桶的概念和如何实施分区分桶，本文档详细阐释了分区分桶的原理和操作示例，以帮助您理解分区分桶原理和如何实施分区分桶。概述 为了能高效处理大数据量的存储和计算，云数据库 SelectDB ...
批量或异步插入数据
本文介绍如何在云数据库ClickHouse中批量或异步插入数据。批量插入数据 默认情况下，每个发送到云数据库ClickHouse的插入操作都会导致云数据库ClickHouse立即在存储中创建一个包含插入的数据以及其他需要存储的元数据信息。因此，相比较...
Amazon Redshift数据迁移至MaxCompute
获取总大小 获取迁移目录的数据大小和文件个数 登录 IAM用户控制台，单击 添加用户。在 添加用户 页面，配置 用户名。在 选择AWS访问类型 区域，选中 编程访问，单击 下一步：权限。在 添加用户 页面，单击 直接附加现有策略。在搜索框中...
应用场景
互联网类应用 Cassandra能够支持大并发低延时的访问需求，具备高...在一些需要应用大量数据对用户行为进行分析的场景中，可以通过整合多种数据来源，存储用户行为数据，构建用户画像，实时存储在Cassandra中，提供大数据风控、推荐等服务。
2022年
2022-03-17 全部地域 OSS外部表 MaxCompute增加半结构化数据（JSON）新解析方式 MaxCompute支持用户JSON数据键值中带特殊字符点（.），可以用['']来读取带点作为键值的数据。2022-03-17 全部地域 GET_JSON_OBJECT_TUPLE 和 JSON_TUPLE ...
多可用区部署
事实上，绝大部分的业务都能接受读取100 ms前的数据，而且Lindorm的客户端支持就近读写，如果用户的读写客户端在同一可用区，大部分情况下客户端读到的都是最新数据（没有因为毛刺或者机器终止工作导致当前可用区的partition不可用或者超时...
高效数据治理实施指南
背景信息 在多人协作的数据团队中，数据治理是重要且繁琐的工作，在解决“如何制定客观的数据治理目标”、“如何高效推动团队达成治理目标”的过程中，通常包含以下挑战：问题难定位：传统数据治理方式难以快速、完整、精准地定位潜在问题...
客户案例
基于飞天大数据平台产品DataWorks+MaxCompute大大提高了数据业务的开发效率，构建大润发的数据中台体系。新金融行业：某互联网金融公司湖仓一体案例 客户架构如下。客户简介 公司的第一代数据湖是基于Hadoop+OSS搭建的，同时引入的数据中台...
事件上报概述
您可以将用户在您的APP、小程序、网页等应用上的行为事件（含订单事件）数据实时采集并上报到Quick Audience，会员中台、社交互动 模块也会将相关用户行为事件同步上报到Quick Audience，这些用户行为事件数据将参与实时 ID Mapping 获取...
受众与核心能力
同时，DataWorks持续打造符合企业级数仓、数据中台构建要求的功能模块，为企业业务的数字化转型提供支持。产品受众 从事数据开发、算法开发等岗位的技术人员 从事销售运营、商业智能分析等岗位的业务人员 从事数据安全与合规工作的管理人员...
产品优势
产品功能全 功能涵盖数据传输、开发、生产、治理、安全全领域，每个领域深度覆盖大数据全生命周期，轻松帮助企业应对在搭建数仓、搭建数据中台、数字化转型项目中遇到的难题。支持复杂网络环境、常见数据源的数据同步上云以及实时、历史...
产品简介
大数据专家服务 大数据专家服务（Bigdata Expert Service）是由阿里云大数据专家基于阿里云多年大数据架构、应用、运维、AI算法建模等最佳实践经验及方法论为用户提供全方位的大数据产品技术、咨询服务及售后专家服务运维保障，帮助用户...
DataWorks数据服务对接DataV最佳实践
DataV通过与DataWorks数据服务的对接，通过交互式分析Hologres连接DataWorks数据服务开发并生成API，快速在DataV中调用API并展现MaxCompute的数据分析结果。数据服务对接DataV产生背景 MaxCompute是阿里巴巴集团自主研究的快速、完全托管的...
操作指南
一、大数据专家服务流程指南 二、服务流程说明 用户可以根据自己实际需要，提前或者在问题发生时购买大数据专家服务，服务项包含大数据技术架构方案咨询、大数据解决方案POC、大数据搬站迁云方案咨询、跨地域迁移支持服务、大数据专家高阶...
- 产品推荐
- 这些文档可能帮助您