视频个性化推荐（协同过滤）
本案例将 以视频社交平台的'猜你喜欢'和'详情页相关推荐'为例，通过推荐算法为用户呈现最符合其兴趣的视频内容为背景，为您介绍在DataWorks中如何使用阿里云PAI的协同过滤算法 挖掘深层次的数据关联性，实现视频的个性化推荐。背景信息 ...
应用场景
该场景可实现：在离线一体化 支持数据实时增删改、具备在线分析和ETL计算一体化，实现大数据与数据库的融合。通过资源组隔离让在离线计算任务不相互影响，保证业务稳定运行。计算存储资源弹性 采用计算存储分离架构，计算资源和存储资源按...
SSH服务的相关介绍
SSH服务是基于非对称加密（public-key cryptography，也称公开密钥加密）算法实现数据加密传输的。非对称加密算法需要两个密钥：公开密钥（publickey：简称公钥）和私有密钥（privatekey：简称私钥）。公钥与私钥是一对，如果用公钥对数据...
2019年
概述 通过Tunnel迁移日志数据至MaxCompute 通过DataHub迁移日志数据至MaxCompute 通过DataWorks数据集成迁移日志数据至MaxCompute 通过LogHub迁移日志数据至MaxCompute 2019-12-25 新增开源地理空间UDF。新功能 您可以将开源地理空间UDF...
应用场景
通过结合其他云产品，云数据库RDS可以适用于更多典型的应用场景。自建库搭配RDS实现异地容灾 RDS搭配异构数据库实现数据多样化存储 RDS结合开放搜索服务实现复杂搜索 开启读写分离扩展RDS处理能力 RDS搭配大数据计算服务实现大规模数据计算
应用场景
访问频度极高业务 如社交网络、电子商务、游戏、广告等。可以将访问频度非常高的数据存储在云数据库 Memcache 版中，底层数据存储在 RDS ...通过数据集成服务可自助实现数据在云数据库 Memcache 版与 MaxCompute 间的同步，简化数据操作流程。
DataWorks on EMR数据安全方案
在大数据领域，阿里云为企业用户提供了一整套数据安全方案，包含用户认证、数据权限、大数据作业管理体系等。本文以联合使用DataWorks与EMR为例，为您介绍DataWorks on EMR场景下的数据安全方案。背景信息 DataWorks on EMR目前支持LDAP...
RDS搭配大数据计算服务实现大规模数据计算
本文介绍RDS MySQL如何结合大数据计算服务MaxCompute使用。开放数据处理服务又称为大数据计算服务（MaxCompute，原名ODPS），可服务于批量结构化数据的...通过 数据集成 服务，可将RDS数据导入MaxCompute，实现大规模的数据计算，如下图所示。
数据处理与路由规则
算法 算法类型对应的具体的算法实现。编辑数据处理规则 编辑数据处理规则的基础信息。说明 编辑数据处理规则时，算法类型不可修改。数据处理规则算法类型为加密算法时，则算法选项不可修改。删除数据处理规则 删除指定的数据处理规则。说明...
产品简介
大数据专家服务 大数据专家服务（Bigdata Expert Service）是由阿里云大数据专家基于阿里云多年大数据架构、应用、运维、AI算法建模等最佳实践经验及方法论为用户提供全方位的大数据产品技术、咨询服务及售后专家服务运维保障，帮助用户...
基于图算法实现金融风控
本文为您介绍如何基于图算法，实现金融风控。背景信息 图算法通常适用于关系网状的业务场景。与常规结构化数据不同，图算法将数据整理为首尾相连的关系图谱，需要考虑边和点。PAI提供了丰富的图算法组件，包括K-Core、最大联通子图及标签...
云数据库RDS简介
通过数据集成服务，可将RDS数据导入MaxCompute，实现大规模的数据计算 DTS 您可以使用数据传输服务DTS将本地数据库迁移到云上的RDS，以及实现RDS的异地容灾。OSS 对象存储服务OSS是阿里云提供的海量、安全、低成本、高可靠的云存储服务。...
PolarDB HTAP实时数据分析技术解密
最后，列存中的大块存储结构，结合MIN、MAX等粗糙索引信息可以实现大范围的数据过滤。所有这些行为都极大的提升了IO的效率。在存储计算分离架构下，减少网络读取的数据量，可以缩短对查询处理的响应时间。列式存储同样能提高CPU在处理数据...
规格及选型
优势：存储弹性模式支持多种数据格式，例如JSON、CSV、AVRO、PARQUET等，可实现数据快速汇聚并完成标签生成。支持阿里云自研的Quick Audience等产品，可快速实现云上平台的一站式搭建。案例七：大型互联网企业 用户为大型互联网企业，各...
实现开发生产等多套环境隔离
使用DataWorks进行大数据开发时，支持对开发、测试、生产等环境进行隔离，当您联合使用了其他阿里云产品时，也可根据环境隔离诉求进行对应业务的环境设置与隔离，本文以DataWorks联合EMR、OSS等产品为例，为您介绍如何实现开发生产等多套...
什么是工业大脑AICS
通过输出“供、研、产、销”全链路智能算法服务，激活工业海量数据的价值，帮助工业生态伙伴快速、低成本构建行业解决方案，最终实现把人工智能与大数据技术接入到传统的生产线中，帮助生产企业实现数据流、生产流与控制流的协同，提高生产...
实验介绍
涉及产品 本案例涉及以下产品：一站式大数据开发治理DataWorks 本案例通过DataWorks实现数据采集，加工，质量监控，与数据可视化展现，您需提前开通该服务。详情请参见 开通DataWorks服务。云原生大数据计算服务MaxCompute 实现底层加工...
快速体验
涉及产品 本案例涉及以下产品：一站式大数据开发治理DataWorks 本案例通过DataWorks实现数据采集、加工、质量监控，以及数据可视化展现，您需提前开通该服务。详情请参见 开通DataWorks服务。云原生大数据计算服务MaxCompute 实现底层加工...
概述
配置循环SQL节点 跨库Spark SQL 基于Spark引擎，实现大规模跨库数据传输和数据加工，主要针对各类跨库数据同步和数据加工场景。配置跨库Spark SQL节点 Lindorm Spark 通过Lindorm计算引擎高效地完成分布式计算任务，满足用户在数据生产、...
Designer使用案例汇总
基于图算法实现金融风控 介绍如何基于图算法实现金融风控。评分卡信用评分 介绍如何通过PAI提供的金融组件，构建评分卡建模方案。异常指标监控 介绍如何快速构建异常指标监控模型。用户流失预警风控 介绍如何通过PAI提供的用户特征算法，...
JindoFS实战演示
使用Checksum迁移HDFS数据到OSS 使用Checksum迁移HDFS数据到OSS 2021-05-11 通过Checksum算法，你可以在大数据迁移场景中校验数据的完整性、对比数据差异并实现增量迁移。本视频为您介绍如何使用Jindo Distcp迁移HDFS数据到OSS，以及在迁移...
核心能力
数据资源平台提供了一站式数据资产定义、生产、管理与服务平台，提供企业级数据资产构建能力和一致性使用体验，助力客户快速构建数据智能平台，实现数据资源统一管理，挖掘潜在规律，优化业务决策，让大数据真正的驱动客户业务。...
什么是DataWorks
DataWorks基于MaxCompute、Hologres、EMR、AnalyticDB、CDP等大数据引擎，为数据仓库、数据湖、湖仓一体等解决方案提供统一的全链路大数据开发治理平台。从2009年起，DataWorks不断沉淀阿里巴巴大数据建设方法论，支撑数据中台建设，同时与...
模型配置
算法模型的优劣依赖于训练数据，数据质量越高，数据量越大，算法效果越好。算法模型使用的行为数据集的数据要求与一般数据集有所不同，请参见 行为数据集样例 准备数据。数据存储于ADB3.0类型的数据源中，且数据源已接入Quick Audience，请...
什么是数据传输服务DTS
功能特性 功能 介绍 相关文档 数据同步 实现数据源之间的数据实时同步，适用于数据异地多活、数据异地灾备、本地数据灾备、跨境数据同步、查询与报表分流、云BI及实时数据仓库等多种业务场景。同步方案概览 数据同步功能特性 数据迁移 实现...
未来规划
云计算架构的核心逻辑就是通过虚拟化技术带来池化资源，云原生数据库采用分布式数据库架构，实现大规模扩展，每套数据库系统横跨多台服务器和虚拟机，带来了全新的系统管理挑战。其中最核心的挑战就是如何实现弹性以及高可用，实现按需按量...
通过客户自建物联网平台使用AI算法保护
enc_model bool true：打开分层加密 false：关闭分层加密（不改造算法模型）max_size float 最大加密的数据量（单位：MB）：如果文件小于max_size，则全文件数据加密 如果文件大于max_size，工具会切片加密文件数据，保证总的加密数据量不...
大数据安全治理的难点
存储 众所周知，大数据系统以数据类型多（结构化、非结构化、半结构化）、数据量大（动辄PB级别）著称，某些巨头组织一天就能新增数十万甚至数百万张表，如此体量给数据分级分类带来了极大挑战，通过人工进行数据分级分类显然是不现实的，...
列存索引中TopK算子的实现
在没有索引的情况下，此类查询在数据库中是通过基于堆的经典TopK算法来实现的，逻辑如下：在内存中维护一个大小为K的堆，堆顶元素是最小的元素，将遍历到的数据与堆顶元素比较，如果比堆顶元素大，替换堆顶元素，并重建堆。遍历完数据后，...
通用数据开发
通常数据开发的总体流程包括数据产生、数据收集与存储、数据分析与处理、数据提取和数据展现与分享。说明 上图中，虚线框内的开发流程均可基于阿里云大数据平台完成。数据开发的流程如下所示：数据产生：业务系统每天会产生大量结构化的...
什么是数据库存储DBFS
主备高可用：基于共享存储实现数据库主备无数据丢失的秒级切换。多活高可用：可部署例如Oracle RAC、SAP HANA等数据库及应用集群。一写多读：可通过集成DBFS SDK实现数据库一写多读功能。快照 支持DBFS快照功能，实现数据的备份与恢复。...
什么是开放平台
目标是把人工智能与大数据技术接入到传统的生产线中，帮助生产企业实现数据流、生产流与控制流的协同，提高生产效率，降低生产成本，以自主可控的路径实现自主可控的智能制造，解决工业智能制造的核心问题，加速推动工业新基建建设。...
测试数据构建
数据管理DMS的测试数据构建功能拥有强大的算法引擎，支持批量生成各类随机值、地区名、虚拟IP地址等信息，可以大大减轻准备测试数据的负担。本文介绍构建测试数据的方法。前提条件 支持的数据库类型：MySQL：RDS MySQL、PolarDB MySQL版、...
产品优势
支持云和端一体化，在“云”上提供了海量数据处理能力，为庞大复杂的工业产线提供数据挖掘分析，并实现复杂算法模型训练。训练好的智能服务能够以轻量级模式在本地工业“端”部署运行。数据集成能力 面向制造业，覆盖90%以上场景的各类型...
功能简介
在数据中台建设过程中，搭建核心处理平台，并根据相关标准要求，将源数据或治理后的数据，按照“全面、高效、统筹”的共享原则，“低延时”、“精准化”地传递给用户，方便更多应用消费数据，实现数据价值。协同管控各种组织机构，为智慧化...
企业版和标准版功能对比
通过LSM-Tree层次化架构和Zstandard压缩算法实现了更高的数据压缩率，对比使用InnoDB作为存储引擎，最高可节省70%的存储空间。支持 不支持 集群回收站 集群回收站用于保存已释放的 PolarDB 集群，您可以将回收站中的集群（即已释放的集群）...
什么是智能众包
人工智能众包（AI Crowdsourcing）基于共享人力资源模式，为人工智能算法提供数据采集、清洗、标注等服务，帮助企业快速构建算法数据集。人工智能众包（AI Crowdsourcing）基于共享人力资源模式，为人工智能算法提供数据采集、清洗、标注等...
统一服务
在数据中台建设过程中，搭建核心处理平台，并根据相关标准要求，将源数据或治理后的数据，按照“全面、高效、统筹”的共享原则，“低延时”、“精准化”的传递给用户，方便更多应用消费数据，实现数据价值。协同管控各种组织机构，为智慧化...
功能简介
在数据中台建设过程中，搭建核心处理平台，并根据相关标准要求，将源数据或治理后的数据，按照“全面、高效、统筹”的共享原则，“低延时”、“精准化”地传递给用户，方便更多应用消费数据，实现数据价值。协同管控各种组织机构，为智慧化...
概览
Designer 智能风控解决方案 基于外卖评论实现舆情风控 基于图算法实现金融风控 评分卡信用评分 异常指标监控 用户流失预警风控 分类 相似标签自动归类 基于文本分析算法实现新闻分类 通用方案 心脏病预测 基于回归算法实现农业贷款发放预测...
- 产品推荐
- 这些文档可能帮助您