管理数据看板
进入恢复模式 重要 当您编写的过滤器有问题（例如死循环导致的看板卡顿）、数据源配置有问题（例如返回的数据量过大导致的看板卡顿）或自定义组件有逻辑问题等其他原因导致数据看板无法编辑时，使用恢复模式进入，可以删除掉带来问题的内容...
数据治理中心概述
数据治理中心可自动发现平台使用过程中数据存储、任务计算、代码开发、数据质量及安全等维度存在的问题，并通过健康分量化评估，从全局、工作空间、个人等多个视角，以治理报告及排行榜呈现治理成果，帮助您高效达成治理目标。同时，提供...
移动数据分析隐私合规处理
问题描述 安卓端集成移动数据分析的隐私合规处理。解决方案 SDK的需初始化两次：第一次为用户同意隐私协议。第二次在application的onCreate中，但前提条件为用户同意隐私协议。注意：必须先调用初始化，才能调用埋点接口。否则会crash.相关...
用户价值
数据开发更简单：平台提供的各种工具产品能够极大的简化数据开发过程，缩短数据治理周期，降低数据治理成本。通过标准化、精细化、规格化的智能数据生产流程，完成流水线式的数据生产作业，提升数据资源生产效率、消除数据供应品质差异。...
数据服务概述
这就造成在数据应用存在以下问题：数据开发周期长，响应慢：需要按迭代排期实现，数据使用门槛高不能随时使用。烟囱式开发：开发成本高，复用性低，为每个需求提供对应的数据接口。数据安全和查询性能无法保障：在数据接口开发时往往只考虑...
概述
AnalyticDB PostgreSQL版 向量分析可以通过AI算法提取非结构化数据的特征，并利用特征向量作为非结构化数据的唯一标识，帮您快速且低成本地实现对非结构化数据检索和对结构化数据关联分析。向量数据库简介 在现实世界中，绝大多数的数据都...
冷数据归档
随着冷数据体量的不断变大，存储成本也会水涨船高。所以降低冷数据存储成本，提升热数据读取性能，对于使用时序引擎的企业用户具有现实意义。在Lindorm时序引擎中，随着时间的不断推移，数据呈现出很明显的冷温热分层。其相应的概念如下：...
数据量
在数据库备份场景下，有4个概念：数据库磁盘空间、数据文件空间、备份数据量、存储数据量。数据量 说明 数据库磁盘空间 由数据库的数据文件空间、数据库的日志文件空间、操作系统文件空间和空闲空间组成。说明 RDS中为：购买时选择的存储...
版本发布记录
无 2021年10月 功能名称 描述 相关文档 Binlog预留功能 MaterializeMySQL引擎支持通过配置参数enable_binlog_reserved开启Binlog预留功能，避免Binlog清理导致的无法正常同步数据的问题，从而提升MaterializeMySQL引擎的稳定性。...
产品概述
阿里云流数据处理平台数据总线DataHub是流式数据（Streaming Data）的处理平台，提供对流式数据的发布(Publish)，订阅（Subscribe）和分发功能，让您可以轻松构建基于流式数据的分析和应用。数据总线 DataHub服务可以对各种移动设备，应用...
什么是DataTrust
Party Computation，MPC）、联邦学习（Federated Learning，FL）、差分隐私（Differential Privacy，DP）等隐私增强计算（Privacy Enhancing Technique）技术打造的隐私增强计算平台，在保障数据隐私及安全前提下完成多方数据隐私求交、...
什么是备份数据量
本文介绍数据库备份DBS中备份数据量的概念。名词解释 备份数据量，是指通过DBS备份链路的数据量。常见概念 在数据库备份DBS业务场景下，含有常见以下几个概念：数据库磁盘空间、数据文件空间、备份数据量、存储数据量等。概念 说明 数据库...
网络连通解决方案
第三方云自建数据源 网络连通的常见问题 数据源网络连接测试不通时，建议您从以下几个方面排查：数据源是否已正常启动。以MySQL数据源为例，您可以在本地PC上 telnet 127.0.0.1 3306，查看数据库端口是否已开启。Dataphin无法访问数据源...
点热力层（v3.x版本）
过滤器 打开 过滤器，选择已创建的数据过滤器或新建数据过滤器，并配置数据过滤器脚本，实现数据的筛选功能。详情请参见 管理数据过滤器。数据响应结果 实时展示了组件所使用的数据。当组件数据源发生变化时，数据响应结果会对应展示最新的...
生成测试数据
背景信息 OceanBase 开发者中心（OceanBase Developer Center，ODC）提供模拟数据功能供用户在测试数据库性能或者验证功能等需要大量模拟数据的场景下，能够快速根据表中的字段类型生成数据。注意事项 单次模拟数据上限为 1 亿行。拥有检查...
区域热力层
图表样式 区域热力层是3D地球的子组件，支持独立的样式和数据配置，能够使用GeoJson数据展示区域边界信息并渲染区域样式，适用于在3D地球上展示某个区域的数据信息。样式面板 搜索配置：单击 样式 面板右上角的搜索配置项图标，可在搜索...
如何处理Tair集群数据倾斜
常见于在KKV（Key-key-value）类型的数据结构中，例如Hash、List、Set、Zset等，存放过多或过大的field，从而导致单个Key过大，产生实例数据倾斜。更多关于大Key的信息，请参见 发现并处理大Key和热Key。避免使用大Key。对大Key进行拆分，...
如何处理Redis集群数据倾斜
常见于在KKV（Key-key-value）类型的数据结构中，例如Hash、List、Set、Zset等，存放过多或过大的field，从而导致单个Key过大，产生实例数据倾斜。更多关于大Key的信息，请参见 发现并处理Redis的大Key和热Key。避免使用大Key。对大Key进行...
处理治理项问题
查看当前登录账号或指定工作空间的可优化项的数量、类别，以及存在该类问题的任务或表详情等信息，针对不同问题DataWorks的数据治理中心为您提供了相应的解决方案，您可以基于该方案，快速处理当前存在的问题，以提升数据质量，尽快达成...
MongoDB 4.0
升级数据库大版本 数据迁移 变更实例配置 按时间点将备份数据恢复至新建实例 恢复云数据库MongoDB单个或多个数据库 升级数据库大版本：升级采用轮转升级的方式进行，升级过程中会自动对实例进行2~3次重启，请在业务低峰期执行并确保应用...
MongoDB 4.4
第三方云数据库迁移至阿里云数据库MongoDB：使用MongoDB工具将MongoDB Atlas数据库迁移至阿里云数据库MongoDB 使用DTS将MongoDB Atlas数据库迁移至阿里云数据库MongoDB 使用DTS将华为云文档数据库迁移至阿里云数据库MongoDB 使用MongoDB...
MongoDB 5.0
第三方云数据库迁移至阿里云数据库MongoDB：使用MongoDB工具将MongoDB Atlas数据库迁移至阿里云数据库MongoDB 使用DTS将MongoDB Atlas数据库迁移至阿里云数据库MongoDB 使用DTS将华为云文档数据库迁移至阿里云数据库MongoDB 使用MongoDB...
产品简介
针对部分数据异构和算力异构的问题，则采用了 client 模型个性化算法，优化和提高了算法的性能。可扩展 本产品和蚂蚁隐私计算服务平台其他产品使用同一套核心资源管理平台及系统框架，可根据现场实际环境组装产品功能，准确制定完整的解决...
什么是数据库自治服务DAS
缺少数据支撑，问题排查靠猜 数据库的问题排查和性能优化一直都是数据库领域的专业问题，但是即使最专业的DBA在面对一些问题的时候，也往往耗费了很长时间，但是仍然无法定位到根因，主要的难点有三个：获取信息难，问题诊断和性能优化都...
数据使用诊断
DataWorks的数据使用诊断，为您提供了对当前DataWorks工作空间的数据内容及数据隐私的安全保护能力，以及诊断相关安全问题的最佳实践及解决方案，帮助您快速建立数据使用时和使用后的基本安全体系。进入数据使用诊断 登录 DataWorks控制台...
敏感数据保护概览
数据自动化扫描。自定义数据扫描触发周期。自动识别企业敏感数据和对敏感数据进行分类分级，解决企业资产中的敏感数据及时发现、有效管理的问题。内置和自定义分类分级模板，完善业务精细化分类管理模型，可以使用最小授权原则管理敏感数据...
管理敏感数据
数据自动化扫描。自定义数据扫描触发周期。自动识别企业敏感数据和对敏感数据进行分类分级，及时发现、有效管理企业资产中的敏感数据。敏感数据脱敏管理。提供灵活的脱敏算法管理，实现不同场景、不同字段的差异化脱敏，解决最细粒度授权、...
基于MaxCompute进行大数据BI分析
通过MaxCompute、AnalyticDB MySQL强大的数据加工和分析能力，降低大数据平台建设的门槛，轻松解决了海量数据的计算问题。同时有效降低企业成本，并保障数据安全。与第三方开源生态无缝对接，在不侵入用户应用的情况下，传输日志至日志服务...
算子级别诊断结果
对于合理Join条件，一般Join的输出行数会小于输入行数，如果Join的输出行数大于输入行数，那么会存在Join数据膨胀的问题，Join数据膨胀会导致较多的计算资源和内存资源被占用，导致查询较慢。建议 如果是数据本身特征导致的Join数据膨胀，...
应用场景
数据分析业务 云数据库 Memcache 版搭配大数据计算服务 MaxCompute。实现对大数据的分布式分析处理，适用于商业分析、挖掘等大数据处理场景。通过数据集成服务可自助实现数据在云数据库 Memcache 版与 MaxCompute 间的同步，简化数据操作...
互联网、电商行业离线大数据分析
概述 电商网站的销售数据通过大数据进行分析后，可以在大屏幕展示销售指标、客户指标、销售排名和订单地区分布等业务指标数据。DataV大屏支持可视化动态展示销售数据，触控大屏支持您自助查询数据，极大地提高数据的可读性。应用场景 电商...
什么是DataWorks
DataWorks基于MaxCompute、Hologres、EMR、AnalyticDB、CDP等大数据引擎，为数据仓库、数据湖、湖仓一体等解决方案提供统一的全链路大数据开发治理平台。从2009年起，DataWorks不断沉淀阿里巴巴大数据建设方法论，支撑数据中台建设，同时与...
发展历程
关键性里程碑 2009年9月，ODPS（即现在的MaxCompute）大数据平台飞天项目正式启动。2010年10月，阿里巴巴集团自主研发的第一代云计算平台稳定运行。2013年8月，平台的单集群规模已达到5000台。2014年7月，平台开始对外提供服务，完全替换...
实时同步任务延迟解决方案
用于帮助您判断数据同步延迟的瓶颈方，当数据同步发生延迟时，指标数据较大的一般为瓶颈方。确认造成延迟问题的系统是否有异常 当确认了延迟瓶颈是在同步任务的读端还是写端后，可在上述任务 运行详情 中切换至 日志 页签，使用 Error/...
横向逻辑回归二分类
在二分类问题中，横向逻辑回归将输入数据特征映射到一个二元分类输出，即预测样本属于正例或负例的概率。组件截图 二、参数说明 字段设置 参数名称 参数说明 标签字段 用于训练的标签字段，数值类型，单选。正样本标签值 正样本标签的原值...
概述
DataWorks的安全中心，帮助您快速构建平台的数据内容、个人隐私等相关的安全能力，满足企业面向高风险场景的各类安全要求（例如，审计），无需您额外配置即可直接使用该功能。DataWorks的安全中心作为云上大数据体系的安全门户，致力于向您...
通用数据开发
通常数据开发的总体流程包括数据产生、数据收集与存储、数据分析与处理、数据提取和数据展现与分享。说明 上图中，虚线框内的开发流程均可基于阿里云大数据平台完成。数据开发的流程如下所示：数据产生：业务系统每天会产生大量结构化的...
DataWorks on EMR数据安全方案
在大数据领域，阿里云为企业用户提供了一整套数据安全方案，包含用户认证、数据权限、大数据作业管理体系等。本文以联合使用DataWorks与EMR为例，为您介绍DataWorks on EMR场景下的数据安全方案。背景信息 DataWorks on EMR目前支持LDAP...
逻辑回归二分类
安全设置 在联邦学习中，线性回归会通过半同态加密的方式保护各自数据的隐私。参数名称 参数说明 半同态加密算法 可选Paillier或Okamoto-Uchiyama两种加密算法制式。加密算法安全强度 强度越高越安全，但是相应的，计算时间越长。实践中...
横向MLP二分类/MLP多分类/MLP回归
参数设置 参数设置 参数名称 参数英文名称 参数说明 全局迭代轮数 epochs 全局模型的最大迭代次数 隐私开销 epsilon 联邦学习中，差分隐私的隐私开销，数值越大，添加的噪声越小，隐私保护越弱，则越精确，训练效果越好；数值越小，隐私...
- 产品推荐
- 这些文档可能帮助您