2022年
2022-12-14 性能洞察（新版）RDS MySQL、PolarDB MySQL版 实例画像 新增实例画像功能，帮助您直观地了解数据库实例全貌，快速确认数据库实例是否存在异常与缺陷，并根据画像特征提供数据库自治功能使用建议。2022-12-05 实例画像 2022年11...
功能更新动态（2023年）
创建MySQL数据源 创建PolarDB-X数据源 创建AnalyticDB for MySQL 2.0数据源 创建AnalyticDB for PostgreSQL数据源 创建达梦（DM）数据源 创建TiDB数据源 创建Kafka数据源 离线集成 新增Apache Doris数据源的离线集成。整库迁移任务支持...
文档更新动态（2023年）
更新说明 创建MySQL数据源 创建PolarDB-X数据源 创建AnalyticDB for MySQL 2.0数据源 创建AnalyticDB for PostgreSQL数据源 创建达梦（DM）数据源 创建TiDB数据源 创建Kafka数据源 离线集成配置优化 新增Apache Doris数据源的离线集成。...
产品计费
数据域管理 该功能支持将具有相同特征的数据资产划分到同一个数据域中，从而高效管理数据资产及资产中的敏感数据。安全审计 DSC 根据内置和自定义的审计规则审计您的资产，并支持展示审计到的会话信息、原始日志和异常告警。数据脱敏 DSC ...
特征管理
特征工程可能包括选择最相关的特征、将原始数据转换为更适合机器学习算法的格式、创建从原始数据派生的新特征等。以下是一些常见的特征使用场景：分类问题：邮件分类：使用邮件内容的单词和短语作为特征来识别垃圾邮件。图片识别：使用像素...
应用场景
金融风控 传统的金融风控模型，能够汇集各个数据源的属性特征信息，但是比较难挖掘数据源之间的深度关联关系。要深度并且快速的挖掘海量数据的关联特征，使用传统的方法则会面临非常大的技术挑战。通过图表示学习技术，提取知识图谱中的...
功能优势
通过Web App调用分析型数据库MySQL版的自定义函数生成向量特征，分析型数据库MySQL版后台通过调用特征提取服务从OSS读取非结构化数据，提取特征，并把特征向量保存在分析型数据库MySQL版中。所有这些操作只需要一条SQL便可轻松完成，SQL...
数据模型
基本概念 物联网、应用监控、工业互联网等典型的时序场景下，数据源（Data Source）通常按一定的周期持续产生时序数据，一条时序数据由Tag、Timestamp、Field等元素共同来描述，具有相同特征的一类数据存放在同一张表中，表的时序数据元素...
高压缩引擎（X-Engine）介绍
挑战和诉求：历史数据归档 历史数据归档的挑战 大部分业务数据的读写特征，都是最新产生的数据会被更频繁地读取或更新，而更久之前的数据（如1年前的聊天记录或订单信息）很少被访问。随着业务发展，数据库系统中会积累大量访问频率很低...
数据源读取时间超时的优化思路
DataV数据可视化产品主要用于动态、实时数据展示场景，需要对数据高频实时查询，对数据访问性能有一定要求。如果您的数据源访问经常超时，则...具体的优化方案要结合查询本身的技术特征、业务数据的逻辑关系以及相关技术框架等来考虑和设计。
数据源读取时间超时的优化思路
DataV数据可视化产品主要用于动态、实时数据展示场景，需要对数据高频实时查询，对数据访问性能有一定要求。如果您的数据源访问经常超时，则...具体的优化方案要结合查询本身的技术特征、业务数据的逻辑关系以及相关技术框架等来考虑和设计。
产品功能
数据解析 GDB Automl将导入和上传的数据进行自动解析，您可以自动配置解析数据源和解析器（支持CSV、ARFF、XLS、ORC等多种数据格式的解析），解析后可查看数据的样本量，并查看样本特征摘要，解析特征分布情况。数据切分 支持按照自定义...
通过自定义模型识别
该功能通常用于发现您的数据资产中与该特征内容相似的数据。本文为您介绍如何生成自定义的数据识别模型。使用限制 DataWorks不支持对数据量小于10条，并且数据长度小于4大于40的样本字段进行模型训练。DataWorks不支持对包含中文字符（包括...
测试数据构建
实际开发过程中可能伴随频繁的数据准备过程，同时需要保障数据安全、数据的离散性特征可控、高效率。DMS提供的测试数据构建，能够满足您的需求。注意事项 当前仅支持按需操作单个表，如需多个表生成需要多次处理。单次生成上限阈值为100万...
增量导出发布包
数据安全：包括数据分类、数据分级、识别特征、识别结果、密钥。数据板块及项目 选择导出对象的数据板块及项目。根据筛选的数据板块及项目导出相应的安全识别结果；当筛选研发相关资源时，数据源、质量等不受筛选影响。重要 项目 为 必选项...
ETL工作流快速体验
智慧城市人口财产主题分析 DataWorks MaxCompute 数据开发 基础版 以人口、房产等相关数据整合与人口特征提取为例，使用DataStudio 数据开发 模块。通过数据加工处理，并设置调度策略，实现数据处理的自动化，从而向您展示智慧城市项目下...
新建及管理数据分类
数据分类用于定义数据在安全领域的业务属性，可对数据进行多级分类打标，更贴合行业标准，本文为您介绍如何新建及管理数据分类。前提条件 已创建数据分类层级。如需创建，请参见 新建数据分类层级。已创建识别特征。如需创建，请参见 添加...
新建及管理数据分类
数据分类用于定义数据在安全领域的业务属性，可对数据进行多级分类打标，更贴合行业标准，本文为您介绍如何新建及管理数据分类。前提条件 已创建数据分类层级。如需创建，请参见 新建数据分类层级。已创建识别特征。如需创建，请参见 添加...
案例：搭建以图搜图系统
例如，商品以图搜图特征提取模型通常需要在商品数据集上进行迁移学习，以便能更加准确地提取不同商品的视觉特征。您可以选择适合当前使用场景的方法，提取图像的特征，生成特征向量。向量检索 向量检索又称为最近邻(Nearest Neighbor ...
基于向量分析的个性化推荐系统
步骤一：从新闻中抽取新闻特征向量 分析型数据库MySQL版通过内置的文本转换为向量函数，抽取新闻特征向量，然后将新闻特征向量存入新闻表 news 中。例如，执行以下 SELECT 将返回文本 AnalyticDB向量数据库is very good!对应的特征向量。...
文档修订记录
DataWorks数据安全治理路线 2023年12月更新记录 时间 特性 类别 描述 产品文档 2023.12.29 新增功能 数据开发 若您要在DataWorks中进行数据建模、数据开发或使用运维中心周期性调度任务，需先将已创建的数据源或集群绑定至数据开发...
导入概述
导入方式 支持的格式 Broker Load Parquet、ORC、CSV、GZIP Stream Load CSV、GZIP、JSON Routine Load CSV、JSON 导入说明 Apache Doris的数据导入有以下共性特征。导入的原子性保证 Doris的每一个导入作业，不论是使用Broker Load进行...
MyBase与自建数据库对比优势
可以通过不同数据库类型的负载特征混合部署，提升性价比。支持应用程序和数据库混合部署。需要单独实现或者购买负载均衡服务，达到流量分发的负载均衡目的。数据库高安全 访问链路、数据落盘BYOK加密、数据审计、操作审计。可额外部署企业...
创建数据脱敏规则
脱敏特征值 不同脱敏特征值的脱敏策略规则不同，即相同的待脱敏数据在不同的脱敏特征值脱敏出来的结果信息不同。若脱敏特征值相同则脱敏后的数据也是相同的。例如，原始数据为a123：脱敏特征值设置为0时，脱敏成b124。脱敏特征值设置为1时...
商品属性提取和多模搜索
应用端调用分析型数据库MySQL版服务将步骤一中的URL和步骤二中的特征向量一起插入商品库。查询数据 应用端可以采用上述架构图中的任意一种方案从商品库中查询数据，查询步骤如下所示。应用端调用OSS服务，将要查询的图片插入OSS，获得对应...
简介
IoT IoT行业产生的部分数据兼具时序和空间特征。以车联网为例，海量的车辆终端在不断地产生轨迹数据，轨迹数据包含了时间和空间位置。利用HBase Ganos，实时监测车辆的行驶轨迹、是否偏航、是否进入某个限制区域等。除了实时监控外，还可以...
数据保护伞入门
当查询的数据具有手机号内容特征时，将被识别为敏感数据。命中率配置 自定义识别规则的命中率。当一列非空数据中，满足上述识别条件的数据大于指定阈值时，则命中该规则，会将该数据识别为当前类型的敏感数据。本文示例阈值配置为50%，即当...
数据建模
即可查看各个特征和标签列在数据分布上的关系。进行数据建模 完成简单的探索性分析之后，即可开始选择合适的算法模型进行数据建模。通过 拆分 组件，将数据分为训练集和测试集。在左侧组件列表，将 数据预处理 下的 拆分 组件拖入画布中。...
规则概述
数据库审计系统提供规则配置功能，您可以根据客户端、服务端、SQL语句等特征自定义检测规则，数据库审计系统将针对不同类型规则执行是否审计或上报告警。规则说明 规则名称 应用场景 说明 过滤规则 无需审计部分SQL报文，希望节省存储空间...
数据处理
解析结果可以查看特征列类型、最大值、最小值、均值等统计数据。单击 Convert to enum，将特征类型转化为枚举类型，进行后续的分类任务。单击特征名，可以查看特征取值分布的统计。数据切分。解析后的数据帧，可以选择切分工具，按照自定义...
常见问题
内置云安全内部保障模板是数据安全中心结合多年安全保障经验，依据以下原则制定：S3：能直接定位到具体的主体 S2：比较明显的主体特征信息 S1：相对泛化的主体特征信息 水印功能相关问题 数据安全中心支持为图片、视频的添加水印吗？...
Delta Lake概述
Delta Lake以数据为中心，围绕数据流走向（数据从流入数据湖、数据组织管理和数据查询到流出数据湖）推出了一系列功能特性，协助您搭配第三方上下游工具，搭建快捷、易用和安全的数据湖。背景信息 通常的数据湖方案是选取大数据存储引擎...
Iceberg概述
而Iceberg简化了工作流程，整个数据处理过程是一条完整的、可靠的实时流，其数据的清洗、转换和特征化等操作都是流上的节点动作，无需处理历史数据和实时数据。此外，Iceberg还支持原生的Python SDK，对于机器学习算法的开发者非常友好。
概述
PolarDB 既融合了商业数据库稳定可靠、高性能、可扩展的特征，又具有开源云数据库简单开放、自我迭代的优势。PolarDB 兼容Oracle数据库提供公共云和专有云形态，其中专有云形态支持CentOS、UOS、麒麟等操作系统，支持X86架构CPU以及ARM架构...
流式ETL
实时计算场景：对业务侧产生的流数据实时清洗处理，形成特征值、标签支持在线业务计算模型（画像、风控、推荐等）或实时大屏等流计算场景。优惠活动 目前ETL功能处于公测阶段，每个账号可以免费创建两个ETL实例，且每个实例在公测期间均...
概述
PolarDB 既融合了商业数据库稳定可靠、高性能、可扩展的特征，又具有开源云数据库简单开放、自我迭代的优势。PolarDB 兼容Oracle数据库提供公共云和专有云形态，其中专有云形态支持CentOS、UOS、麒麟等操作系统，支持X86架构CPU以及ARM架构...
什么是ETL
实时计算场景：对业务侧产生的流数据实时清洗处理，形成特征值、标签支持在线业务计算模型（画像、风控、推荐等）或实时大屏等流计算场景。优惠活动 目前ETL功能处于公测阶段，每个账号可以免费创建两个ETL实例，且每个实例在公测期间均...
产品架构
云原生数据库PolarDB 基于Cloud Native设计理念，既融合了商业数据库稳定可靠、高性能、可扩展的特征，又具有开源云数据库简单开放、快速迭代的优势。本文将介绍 PolarDB 的产品架构及特点。图 1.产品架构图 一写多读 PolarDB 采用分布式...
产品架构
云原生数据库PolarDB 基于Cloud Native设计理念，既融合了商业数据库稳定可靠、高性能、可扩展的特征，又具有开源云数据库简单开放、快速迭代的优势。本文将介绍 PolarDB 的产品架构及特点。图 1.产品架构图 一写多读 PolarDB 采用分布式...
基本对象概念
本章讲述如何在SPL中使用面向对象的编程技术。正如在 Java 和 C++ 等编程语言中所了解的，面向对象的编程着重于对象的概念...方法的特征由形参的数量、数据类型及其顺序组成。icmsDocProps={'productMethod':'created','language':'zh-CN',};
- 产品推荐
- 这些文档可能帮助您