文档修订记录
DataWorks数据安全治理路线 2023年12月更新记录 时间 特性 类别 描述 产品文档 2023.12.29 新增功能 数据开发 若您要在DataWorks中进行数据建模、数据开发或使用运维中心周期性调度任务，需先将已创建的数据源或集群绑定至数据开发...
数据分析：即时快速分析
数据分析基于“人人都是数据分析师”的产品目标，旨在为更多非专业数据开发人员，如数据分析、产品、运营等工作人员提供更加简洁高效的取数、用数工具，提升大家日常取数分析效率。功能概述 数据分析支持基于个人视角的数据上传、公共数据...
数据库对象名称解析
SPL程序中的数据库对象可以通过其限定名称或非限定名称进行引用。限定名称采用 schema.name 形式，其中schema是其下存在标识符为name的数据库对象的schema名称。非限定名称没有 schema.部分。在引用限定名称时，对于所指的确切数据库对象，...
RGB色彩
说明 Gamma校正是一种非线性变换技术，用于调整图像的亮度和对比度。它可以纠正由于显示设备的不一致性而导致的图像亮度失真问题。后期效果 辉光 强度：设置辉光的强度值，范围为0~5。半径：设置辉光的半径大小，范围为0~1。阈值：设置辉光...
RDS MySQL同步至AnalyticDB for PostgreSQL ...
数据传输服务DTS（Data Transmission Service）支持将RDS MySQL数据同步至 AnalyticDB PostgreSQL版Serverless模式。通过DTS提供的数据同步功能，可以轻松实现数据的流转，将企业数据集中分析。前提条件 已创建源 RDS MySQL 实例，创建方式...
岭回归预测
算法原理 岭回归是一种专用于共线性数据分析的有偏估计回归方法，实质上是一种改良的最小二乘估计法，通过放弃最小二乘法的无偏性，以损失部分信息、降低精度为代价获得回归系数更为符合实际、更可靠的回归方法，对病态数据的拟合要强于...
线性回归
参数说明 IN端口 参数名 参数描述 是否必填 输入数据类型 数据源类型 特征变量 配置模型特征列 是 整数或浮点数 说明 若存在非数值数据，则会抛出异常。CSV组件。IGateOffline组件。平台上其他数据处理组件。按照平台组件开发的自定义组件...
数据服务权限列表
Y Y N N 编辑Dataphin数据源服务 Y Dataphin数据源责任人：Y 非Dataphin数据源责任人：N N N 开启或关闭加速开关 Y Dataphin数据源责任人：Y 非Dataphin数据源责任人：N N N 查看Dataphin数据源服务详情 Y Dataphin数据源责任人：Y 非...
单波段拉伸
说明 Gamma校正是一种用于调整图像亮度和对比度的非线性变换技术，可以纠正由于显示设备的不一致性而导致的图像亮度失真问题。后期效果 辉光 强度：设置辉光的强度值，范围为0~5。半径：设置辉光的半径大小，范围为0~1。阈值：设置辉光的...
常见问题
每次迭代好新的数据，最好把所有的最新数据放一起，从基础模型开始训练，不建议从之前SFT的模型开始训练（百炼支持的这种模型，更多是考虑训练成本，基于每次训练好的模型使用增量数据训练，比全量数据训练更快，但效果没那么好）。...
资产大盘
数据管理DMS 的资产大盘功能支持T+1离线汇总当前 DMS 租户下的所有实例、数据库、表数据，并图形化展示数据资产的引擎、环境、地域、来源、类目的分布占比及数量趋势。本文介绍如何使用DMS的资产大盘。注意事项 DMS 资产大盘的 表分布占比 ...
数据集成概述
数据集成是基于Dataphin构建的简单高效的数据同步平台，致力于提供具有强大的数据预处理能力、丰富的异构数据源之间数据高速稳定的同步能力。背景信息 面对各行各业对大数据的应用，数据集成会有很多的诉求，包括能够简单高效的配置大量...
资源角色
数据管理DMS提供了4种资源角色，包括实例DBA、实例Owner、数据库Owner、表Owner。本文介绍各资源角色具有的权限。资源角色名 说明 权限 实例DBA 每个实例只能有一个DBA。系统角色为DBA、管理员的用户可以编辑调整实例DBA。可查看实例上每个...
使用数据镜像保护尚未写入完整的数据
云数据库MongoDB提供数据镜像能力，您可以对副本集实例或分片集群实例创建一个只读数据镜像。其中副本集最高支持3TB数据，集群版本最高支持96TB数据。使用场景 创建数据镜像，可确保在数据大批量写入更新期间，所有读请求从数据镜像获取...
内置全密态能力
PolarDB PostgreSQL版（兼容Oracle）提供全密态数据库功能，数据在用户侧加密后传入数据库管理系统，数据明文对于数据库服务端不可见，实现了端到端的全程加密的数据强安全性。全密态云数据库是达摩院数据库与存储实验室的自研产品，可以...
岭回归训练
算法原理 岭回归是一种专用于共线性数据分析的有偏估计回归方法，实质上是一种改良的最小二乘估计法，通过放弃最小二乘法的无偏性，以损失部分信息、降低精度为代价获得回归系数更为符合实际、更可靠的回归方法，对病态数据的拟合要强于...
概述
数据备份物理空间大小如下图所示：说明 PolarDB 集群 数据备份物理空间大小（上图中①所示）：指数据备份的收费对象，物理空间大小是指所有数据备份（快照）独占的物理空间大小之和，PolarDB集群的数据与多个数据备份（快照）会复用相同的...
偏最小二乘回归
偏最小二乘回归提供一种多对多线性回归建模的方法，特别当两组变量的个数很多，且都存在多重相关性，而观测数据的数量（样本量）又较少时，用偏小二乘回归建立的模型具有传统的经典回归分析等方法所没有的优点。计算逻辑原理 偏最小二乘...
查看敏感数据识别结果
仅支持在 结构化数据、半结构化数据、非结构化数据 或 大数据 分类下分别选择一个或多个数据类型，不支持跨分类同时选择多个数据类型。如果您未选中任意数据类型，数据安全中心默认展示所有数据类型下的敏感数据识别结果。数据模板：在 ...
配置备份计划
数据库所在位置 待备份数据库实例的所在位置，支持类型如下：RDS实例 有公网IP:Port的自建数据库 ECS上的自建数据库 通过专线/VPN网关/智能网关接入的自建数据库 PolarDB 无公网IP:Port的自建数据库(通过数据库网关DG接入)说明 本示例为...
产品优势
支持防护常见的结构化数据、非结构化数据和大数据产品，例如对象存储OSS、云数据库RDS、MaxCompute等。智能化 运用大数据和机器学习能力，通过智能化的算法，对敏感数据和高风险活动，例如数据异常访问和潜在的泄露风险进行有效识别和监控...
常见问题
Redis CSRF漏洞分析及云数据库Redis版安全措施介绍 云数据库Redis集群版与原生Redis集群版有什么区别？网络与连接 如何获取Redis实例的连接地址和实例ID 如何通过redis-cli连接Redis 云数据库Redis版支持Jedis等通用的Redis客户端吗？连接...
尺寸映射
线性映射：将尺寸数据进行线性映射，可以拖动两侧点，自定义设置线性映射的两个过渡值。指数映射：将尺寸数据进行指数映射，可以自定义设置 Base 值，实现不同的映射。范围为0.01~1.99。Bezier曲线：将尺寸数据进行贝塞尔曲线映射，可以...
支持的数据库
数据同步 数据同步功能帮助您实现数据源之间的数据实时同步，适用于数据异地多活、数据异地灾备、本地数据灾备、跨境数据同步、查询与报表分流、云BI及实时数据仓库等多种业务场景。同步支持的数据库、版本和同步类型以及配置文档，请参见...
数据分析整体趋势
据Gartner统计，到2025年实时数据占比达30%，其中非结构数据占比达80%，同时数据存储云上规模达45%，而云上数据库规模可达75%。从数仓分析市场增长来看，据Global Market Insights分析，2019-2025全球年复合增长超过12%，中国则大于15%，...
LightGBM
是 整数或浮点数 说明 若存在非数值数据，则会置为NaN。CSV组件。IGateOffline组件。平台上其他数据处理组件。按照平台组件开发的自定义组件。目标变量 配置模型目标变量。是 分类：整数或浮点数或字符 回归：整数或浮点数 说明 若存在非...
公共规范
数据拆分 数据的水平和垂直拆分是按照访问热度分布和数据表非空数据值、零数据值在行列二维空间上分布情况进行划分的。在物理上划分核心模型和扩展模型，将其字段进行垂直划分。将访问相关度较高的列在一个表存储，将访问相关度较低的字段...
数据集成概述
数据集成是基于Dataphin构建的简单高效的数据同步平台，致力于提供具有强大的数据预处理能力、丰富的异构数据源之间数据高速稳定的同步能力。背景信息 面对各行各业对大数据的应用，数据集成会有很多的诉求，包括能够简单高效的配置大量...
空间管理
数据库自治服务DAS 为 RDS SQL Server 提供空间管理功能，可以分层监控与分析，从实例深入到数据库，再从数据库深入到表，帮助用户发现和定位数据库空间相关问题。空间管理提供您查看实例基本信息、空间总览、空间数据图表信息、空间变化...
空间管理
自治服务的空间管理功能提供分层的监控与分析，从实例深入到数据库，再从数据库深入到表，帮助用户发现和定位数据库空间相关问题。空间管理提供您查看实例基本信息、空间总览、空间数据图表信息、空间变化趋势等等，帮助您从各个维度了解...
数据重排
在MaxCompute的使用过程中，如果已经积累了大量数据占用了大量存储资源，且已经通过削减数据存储生命周期和删除非必要数据等方式进行了治理，在您的存储预算有限，计算资源还有冗余的情况下，可以考虑使用数据重排方式对存储空间进行优化。...
基本概念
数学规划求解常见的子问题类别还有混合整数规划（Mixed Integer Programing,MIP)、非线性规划（Nonlinear Programing，NLP）等。除此外，当前还有 仿真优化 和 在线优化 类别能力，可联系我们获取。本地运行版 本地运行版，简称本地版，是...
读取OSS数据
在成功创建了OSS外部表后，您可以访问和查询存储在OSS指定目录下的数据文件，实现高效的数据读取操作。背景信息 完成OSS外部表创建后，您可以根据需要选择如下方式之一对OSS外部表进行操作：（推荐）方式一：将OSS的开源格式数据导入...
基本概念
Validation Loss Validation Loss代表针对验证集学习的拟合程度，曲线一般呈现先下降后上升趋势，Loss越小，表示验证数据拟合程度越高，优秀的模型效果往往出现Validation Loss的最小值节点，此时拟合程度最佳，训练效果最好。Validation ...
数据迁移与同步FAQ
本文为您列出数据迁移与数据同步的常见问题和相关解答。什么是数据迁移、数据同步？DTS的数据迁移与数据同步工作原理是什么？DTS的数据迁移与数据同步有什么区别？使用DTS遇到预检查报错，如何解决？什么是数据迁移、数据同步？数据迁移：...
识别任务说明
文件或表扫描限制 为了避免数据源中文件或表过大影响整体扫描进度，数据安全中心对可以扫描的文件大小或表的字段大小做了限制，请您在进行敏感数据扫描前了解以下规则：结构化数据（RDS MySQL、RDS PostgreSQL、PolarDB等）、大数据...
数据治理
数据质量监控 应用场景 从完整性、准确性、有效性、一致性、唯一性和及时性等多个维度对产出表数据进行校验，自动拦截问题任务，有效阻断脏数据向下游蔓延，避免非正常数据影响使用和业务决策。监控逻辑 实例（ds_mbr_use_info）产出一张表...
什么是数据资源平台
阿里云数据资源平台是数据资产定义、加工、管理、服务的全流程平台，提供数据同步、数据查询、数据标准、数据建模、数据加工、质量评估、业务模型构建、资产管理、数据服务等功能，为智能数据应用持续稳定供给全量、标准、干净、智能的数据...
Tunnel命令常见问题
java.io.IOException:Error writing request body to server 产生原因 这是上传数据到服务器时产生的异常，通常是因为上传过程中的网络连接断开或超时导致的：当您的数据源并非是本地文件，需要从数据库等地方获取时，数据在写入的过程中还...
模型训练最佳实践
Training Loss Trianing Loss 代表针对训练数据学习的拟合程度，曲线一般呈现下降趋势，Loss越小，表示训练数据拟合程度越高，过小的Loss易导致数据过拟合，需要根据实际训练过程进行判断 Validation Loss Validation Loss代表针对验证集...
- 产品推荐
- 这些文档可能帮助您