阿里云数据中台算法-阿里云数据中台算法文档介绍内容-阿里云

什么是AIoT客流分析算法

而企业要在新的智能化时代继续保持并提升自身的核心竞争力，就必须要在数字化的基础上，通过实现云边端一体的打通，从海量的数据中筛选有价值的部分，将人工智能的算法、算力在整个产业链条上进行灵活调用，以此提升产品质量和服务水平，...

用户价值

数据资源平台为用户提供了一站式数据资产定义、生产、管理与服务平台，提供企业级...自主挖掘数据的业务价值：通过画像分析、业务模型编辑器，从业务视角更直观地探索数据，更高效的从数据中获取业务价值，并不断丰富客户的标签等数据资产。

概述

优势云原生数据仓库AnalyticDB PostgreSQL版向量数据库通过自研向量引擎FastANN提供的向量分析能力目前已经在诸多业务中得到了广泛应用，包括阿里巴巴数据中台，阿里巴巴电商新零售业务，阿里云城市大脑，通义千问大模型搭建的问答服务等...

数据加密

支持的数据加密算法为AES算法（默认）和国密算法SM4。通过用户自带密钥（BYOK）加密您可以在KMS控制台上创建主密钥CMK，并授权日志服务相应的权限。日志服务调用KMS接口时，使用该CMK创建用于数据加密的密钥。当您的主密钥CMK被删除或禁用...

数据脱敏

当数据出现泄露时，管理员可以在获取到泄露的数据后，通过提取水印，将数据中的备注信息提取出来，就可以定位到泄漏数据的是员工A。水印使用限制详情，请参见水印使用限制。设置敏感数据要移动的目标位置，测试写入权限，并单击下一步。...

测试数据构建

数据管理DMS的测试数据构建功能拥有强大的算法引擎，支持批量生成各类随机值、地区名、虚拟IP地址等信息，可以大大减轻准备测试数据的负担。本文介绍构建测试数据的方法。前提条件支持的数据库类型：MySQL：RDS MySQL、PolarDB MySQL版、...

数仓构建流程

本文为您介绍如何基于阿里巴巴OneData方法论最佳实践，使用Dataphin助力企业数据中台的建设与管理，快速构建标准、规范的数据仓库。数仓构建流程下图为使用Dataphin构建数据仓库的基本流程。基本概念在正式学习本教程之前，您需要了解...

恢复数据

前提条件实例已产生备份集，您可以在GDB控制台中，获取当前实例的数据备份信息。更多信息，请参见查看备份文件列表。注意事项数据恢复仅支持将备份数据恢复至另一个新建GDB实例中，不支持将备份数据恢复至当前实例。操作步骤登录图...

DataWorks数据服务对接DataV最佳实践

如下所示：关系型数据库：RDS、DRDS、MySQL、PostgreSQL、Oracle和SQL Server 分析型数据库：AnalyticDB NoSQL数据库：TableStore和MongoDB 登录 DataWorks控制台，单击左侧导航栏的数据服务，在下拉框中选择对应工作空间后单击 ...

添加区块链服务数据源

本文档为您介绍在DataV中添加区块链服务数据源的方法，以及相关参数配置说明。使用阿里云区块链服务（Blockchain as a Service，简称BaaS），您可以通过REST API调用智能合约，查询链上信息，也可以查询区块及交易信息。前提条件已准备好...

Redis过期Key的逐出策略

Redis过期Key清理策略清理过期Key的算法数据逐出算法使用Redis的注意事项详细信息 Redis过期Key清理策略为了防止一次性清理大量过期Key导致Redis服务受影响，Redis会在CPU空闲时清理过期Key。具体Redis逐出过期Key的策略如下所示：...

配置算法实例

算法实例是根据算法模板创建的具体实例，可以根据您设置的检测参数结合算法模型，完成对相关数据中异常信息的检测及诊断，协助您更好地解读设备数据，监测设备运行状态，及时发现潜在故障。前提条件已创建算法实例。具体操作，请参见创建...

机器学习开发示例

数据展示，打印schema%pyspark data.show(5)data.printSchema()数据打印步骤三：准备ML算法数据说明在监督学习（例如回归算法）中，通常需要定义标签(lable)和一组要素(features)。在此线性回归示例中，标签为2015年中位数销售价格...

AliPG功能模块

PASE（PostgreSQL ANN search extension）是一款为AliPG数据库研发的高性能向量检索索引插件，使用业界中成熟稳定且高效的ANN（Approximate nearest neighbor）检索算法，包括IVFFlat和HNSW算法，通过这两种算法，可以在AliPG数据库中实现...

新建Flink SQL类型的公共节点

方式二：上传算法包方式登录数据资源平台控制台。在页面左上角，单击图标，选择协同。在顶部菜单栏，单击图标，选择目标工作组，单击资产加工。说明若您已在资产加工页面，请跳过“单击资产加工”的操作。在左侧导航栏，单击 ...

数据加密

当云数据库MongoDB实例开启TDE功能后，新创建的数据库或集合中的数据在写入到任何设备（例如磁盘、SSD、PCIe卡）、服务（例如对象存储OSS）前都会进行加密，因此实例中对应的数据文件和备份文件都是以密文形式存在的。TDE的设置方法请参见 ...

续费/到期或欠费

登录 OpenSearch-行业算法版管理控制台，在控制台右上方，选择费用>续费管理。2.在弹出页中间的列表中对应的产品一列找到“开放搜索包年包月”：3.在手动续费、自动续费、到期不续费页签中，勾选多个实例，单击批量续费。4.在续费时长...

OSS数据安全防护最佳实践

DSC 在您完成数据源识别授权后，从您存储在OSS的海量数据中快速发现和定位敏感数据，对敏感数据分类分级并统一展示，同时追踪敏感数据的使用情况，并根据预先定义的安全策略，对数据进行保护和审计，以便您随时了解OSS数据资产的安全状态。...

新建Flink Vvp SQL类型的公共节点

方式二：上传算法包方式登录数据资源平台控制台。在页面左上角，单击图标，选择协同。在顶部菜单栏，单击图标，选择目标工作组，单击资产加工。说明若您已在资产加工页面，请跳过“单击资产加工”的操作。在左侧导航栏，单击 ...

创建三维城市

若自定义空间数据项目中没有包括某个基底数据的内容，可以单击该暂无数据的基底数据内的去空间构建平台添加或者单击添加图层对话框右上角的前往空间构建平台创建项目，进入空间构建平台内添加所需基底数据。可选，如果您需要配置算法...

什么是视觉计算服务

VCS在逻辑上可分为如下模块：数据源管理：支持将保存在OSS中的图片和视频作为计算数据源，也支持onvif、RTSP等协议的视频码流接入管理。存储引擎：支持存储原始码流数据和分析后的非结构化数据，并提供点播服务。计算引擎：支持算子管理、...

自定义召回模型

智能推荐算法平台已经将包含数据和完整使用链路的推荐召回案例内置于模板业务节点中。在画布左上角的“商品推荐召回模型”，右键从模板创建。会生成如下图所示的实验，先点击运行按钮执行实验。右键数据源，点击查看数据。数据源：本数据源...

新建MaxCompute MR类型的公共节点

当算法脚本类型为Shell时，可通过新建MaxCompute MR类型的公共节点，使用上传算法包的方式处理MaxCompute类型的数据源。也支持通过写SQL语句方式创建MaxCompute MR类型的公共节点。本文介绍如何新建MaxCompute MR类型的公共节点。前提条件 ...

核心概念

项目项目是一种物理空间上的划分，便于用户在数据中台建设过程中对物理资源及开发人员进行隔离化管理。一个数据板块可以包含多个项目，Dataphin成员可以加入到多个不同的项目。一个数据板块可以有多个项目，但是一个项目只能属于一个数据...

管理敏感数据

说明若您使用的是极简模式的控制台，请单击控制台左上角的图标，选择全部功能>安全与规范>敏感数据管理>敏感数据资产。进入敏感数据资产页面，单击右上角的全域敏感数据列表。单击字段管控页签，选中需要调整脱敏规则的字段，单击 ...

高维向量检索（PASE）

PASE（PostgreSQL ANN search extension）是一款为PostgreSQL数据库研发的高性能向量检索索引插件，使用业界中成熟稳定且高效的ANN（Approximate nearest neighbor）检索算法，包括IVFFlat和HNSW算法，通过这两种算法...

创建三维城市场景项目

若自定义空间数据项目中没有包括某个基底数据的内容，可以单击该暂无数据的基底数据内的去空间构建平台添加或者单击添加图层对话框右上角的前往空间构建平台创建项目，进入空间构建平台内添加所需基底数据。如果您需要配置算法参数，...

创建三维城市场景项目

若自定义空间数据项目中没有包括某个基底数据的内容，可以单击该暂无数据的基底数据内的去空间构建平台添加或者单击添加图层对话框右上角的前往空间构建平台创建项目，进入空间构建平台内添加所需基底数据。如果您需要配置算法参数，...

高维向量检索（PASE）

PASE（PostgreSQL ANN search extension）是一款为PostgreSQL数据库研发的高性能向量检索索引插件，使用业界中成熟稳定且高效的ANN（Approximate nearest neighbor）检索算法，包括IVFFlat和HNSW算法，通过这两种算法...

2021年

创建RDS MySQL数据订阅任务创建PolarDB MySQL版数据订阅任务创建Oracle数据订阅任务 2021年4月类别功能描述相关文档新增 ETL（Extract Transform Load）功能正在新版控制台公测中，可用于实现数据库中数据的清洗和转换处理，能够准确...

PolarDB的高级脱敏

高级脱敏功能具有但不限于如下特性：统一管理敏感数据敏感数据分类分级周期性扫描敏感数据主动发现敏感数据应用场景实时从生产环境中的数据库（即生产库）获取用户已脱敏的数据来进行报表生成、数据分析、开发测试等。前提条件已录入...

数据脱敏

项目管理员在 ODC 目标项目>敏感数据中手动添加敏感列；如果通过自动扫描方式添加敏感列，需要先创建识别规则。用户在执行查看表数据、SQL 窗口查询、结果集导出、导出工单、数据库变更工单操作时，包含的敏感列输出为脱敏数据。前提条件 ...

高效向量检索（PASE）

使用业界中成熟稳定且高效的ANN（Approximate nearest neighbor）检索算法，包括IVFFlat和HNSW算法，通过这两种算法，可以在PostgreSQL数据库中实现极高速向量查询。PASE暂时不支持特征向量的抽取与产出，您需要自己检索实体的特征向量，...

将云消息队列 Kafka 版的数据迁移至MaxCompute

步骤四：同步数据登录 DataWorks控制台，单击左侧导航栏的数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击进入数据开发。在数据开发页面，右键单击业务名称，选择新建节点>数据集成>离线同步。在新建节点对话框，输入...

使用Simple存储策略

背景信息时空数据具有个体大、总量大的特点，Ganos中的栅格、轨迹、点云等数据类型往往需要采用专业的压缩算法压缩后再存入数据库表中，而当前数据库提供的存储策略只支持固定简单的压缩算法，或者不压缩直接存储至外表，将导致时空数据...

使用Simple存储策略

背景信息时空数据具有个体大、总量大的特点，Ganos中的栅格、轨迹、点云等数据类型往往需要采用专业的压缩算法压缩后再存入数据库表中，而当前数据库提供的存储策略只支持固定简单的压缩算法，或者不压缩直接存储至外表，将导致时空数据...

行业算法版表结构

应用结构数据推送到行业算法版后会先保存到离线数据表中，在此阶段，为了方便用户推送数据，数据表允许用户根据实际业务场景定义多个表（需要指定关联字段），并提供了数据处理的插件。数据处理完毕后会join成一张索引表，这种索引表主要...

资产大盘

数据管理DMS 的资产大盘功能支持T+1离线汇总当前 DMS 租户下的所有实例、数据库、表数据，并图形化展示数据资产...查看数据资产的详细信息您可以在控制台顶部菜单栏中，选择数据资产>实例管理，查看已有实例、数据库等数据资产的详细信息。

添加ClickHouse数据源

可进入云数据库ClickHouse控制台，在集群列表>基本信息>网络类型中获取。VPC实例ID VPC下数据库实例的ID，可在云数据库ClickHouse控制台的实例基本信息页面获取。说明通常您可以直接在数据库产品的控制台查看数据库实例的VPC实例ID。...

阿里云数据中台算法

新品推荐