应用场景
实时数据通道 1.1 接入多种异构数据并投递到下游多种大数据系统 通过数据总线，您可以实时接入APP、WEB、IoT和数据库等产生的异构数据，统一管理，并投递到下游的分析、归档等系统，构建清晰的数据流，让您更好的释放数据的价值。...
产品简介
大数据专家服务 大数据专家服务（Bigdata Expert Service）是由阿里云大数据专家基于阿里云多年大数据架构、应用、运维、AI算法建模等最佳实践经验及方法论为用户提供全方位的大数据产品技术、咨询服务及售后专家服务运维保障，帮助用户...
大数据安全治理的难点
通常，大数据系统中的工作流涉及多部门、多责任人且跨系统的数据，如何才能协调好这些业务系统准时、保质保量地产出数据，避免出现因业务系统宕机/脏数据导致数据延时产出、产出脏数据，关乎到企业数据业务的连续性问题甚至高层的信任问题...
IoT数据自动化同步至云端解决方案
但同步至大数据系统或传统数据库的数据，需要使用专业的数据同步系统。下图为您展示使用DataWorks数据集成完成OSS数据同步至大数据系统的解决方案流程。新建离线同步节点，详情请参见 通过向导模式配置离线同步任务。选择数据来源OSS进行...
功能概览
1.4 生态融合 系出飞天，与阿里云大数据系统深度整合，无缝对接MaxCompute、实时计算、交互式分析等产品，打通整个大数据体系。2.产品功能 2.1 数据接入 提供多种SDK、API和Flume、Logstash等第三方插件，让您高效便捷的把数据接入到数据...
冷热分层
背景信息 在海量大数据场景下，随着业务和数据量的不断增长，性能和成本的权衡成为大数据系统设计面临的关键挑战。Delta Lake是新型数据湖方案，推出了数据流入、数据组织管理、数据查询和数据流出等特性，同时提供了数据的ACID和CRUD操作...
SmartData常见问题
JindoFS是阿里云开源大数据E-MapReduce产品提供的一套Hadoop文件系统，主要对Hadoop和Spark大数据生态系统使用阿里云OSS提供多层次的封装支持和优化。基础功能提供适配OSS和支持访问，您可以直接使用JindoFS SDK；标准功能针对OSS提供分布...
产品简介
开源大数据开发平台E-MapReduce（简称EMR）是运行在阿里云平台上的一种大数据处理系统解决方案。EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理数据。EMR还可以与阿里云...
生态集成
云原生数据仓库AnalyticDB PostgreSQL版 具备完善和开放的生态系统，支持无缝对接业界以及阿里云生态的数据管理工具，BI报表可视化工具，ETL工具，数据迁移工具，同时可以与业界流行的流式处理系统，日志类系统，大数据类系统，传统数仓及...
概述
背景信息 在大数据生态系统中，Alluxio位于数据驱动框架或应用（例如Apache Spark、Presto、TensorFlow、Apache Flink和Apache Hive等）和各种持久化存储系统（例如HDFS和阿里云OSS）之间，使得上层的计算应用可以通过统一的客户端API和...
应用场景
前端的监控系统和大数据处理系统会利用 TSDB 的数据查询和计算分析能力进行业务监控和分析结果的实时展现。电力化工及工业制造监控分析 传统电力化工以及工业制造行业需要通过实时的监控系统进行设备状态检测，故障发现以及业务趋势分析。...
文档修订记录
Check节点 2024.1.12 新增功能 最佳实践 新增DataWorks大数据安全治理实践新增指南，为您介绍数据安全治理的常见思路、DataWorks产品的安全能力，以及在DataWorks上基于“基础防护建设”、“数据安全防护措施”、“数据安全持续运营”三个...
数据分析整体趋势
Hadoop也在早期的MapReduce接口基础上增加了SQL接口，SQL语法逐渐成为大数据分析系统的标准配置。随着AWS，Azure，Alibaba，Google等云厂商的出现，云原生分布式数据仓库成为目前数据分析技术的主要解决方案，代表性云服务包括Amazon ...
公交出行：启迪公交
PolarDB-X 专注解决海量数据存储、超高并发吞吐、大表瓶颈以及复杂计算效率等数据库瓶颈问题，历经各届天猫双十一及阿里云各行业客户业务的考验，助力企业加速完成业务数字化转型。本文介绍启迪公交如何通过 PolarDB-X 应对业务挑战。所属...
简介
HBase Ganos是什么 HBase Ganos是阿里云推出的一款包含管理 空间几何数据、时空轨迹、专题栅格、遥感影像的时空大数据引擎系统。系统兼容开源GeoMesa、GeoServer等生态，内置了高效的时空索引算法、空间拓扑几何算法、遥感影像处理算法等，...
创建Teradata数据源
通过创建Teradata数据源能够实现Dataphin读取Teradata的业务数据或向Teradata写入数据。本文为您介绍如何创建Teradata数据源。背景信息 Teradata是一款大型数据仓库系统。如果您使用的是Teradata，在对接Dataphin进行数据开发或导出...
保险行业解决方案与案例
与此同时国寿数据应用全面进入实时化，通过DTS将 PolarDB PostgreSQL版（兼容Oracle）实时变化的数据同步到KAFKA平台，下游业务系统和大数据平台通过数据订阅以满足监管报送等各种场景；通过上线前完整兼容性评估，上线过程中全量SQL回归压...
区间检测
比对方式：对计算后的数据进行比对以查找出异常的点，在区间检测中包括三种比对方式：动态阈值上下界之外：系统会自动计算当前时间的上下界，如果发现有数据点位于上界或者下界之外，则为异常数据，触发告警。动态阈值上界之外：系统会自动...
基本概念
DTS 数据传输服务（Data Transmission Service，简称DTS）支持关系型数据库（RDBMS）、非关系型数据库（NoSQL）、数据多维分析（OLAP）等数据源间的数据交互，集数据同步、迁移、订阅、集成、加工于一体，帮助您构建安全、可扩展、高可用的...
区间检测
比对方式：对计算后的数据进行比对以查找出异常的点，在区间检测中包括三种比对方式：动态阈值上下界之外：系统会自动计算当前时间的上下界，如果发现有数据点位于上界或者下界之外，则为异常数据，触发告警。动态阈值上界之外：系统会自动...
区间检测
比对方式：对计算后的数据进行比对以查找出异常的点，在区间检测中包括三种比对方式：动态阈值上下界之外：系统会自动计算当前时间的上下界，如果发现有数据点位于上界或者下界之外，则为异常数据，触发告警。动态阈值上界之外：系统会自动...
ContrastSmartVerify
ResultObject.riskInfo 补充说明 ResultObject.riskInfo包含风险分值（score）和风险标签（tags）两个参数，具体说明如下：风险分值（score）的取值范围是0~100，值越大表示行为的风险程度越大。在营销安全和注册安全场景下，风险分值...
集群恢复：按备份集恢复
步骤二、在新集群中进行数据比对 当全量集群数据恢复至新集群中完成后，您需要登录到新集群，并进行数据比对，验证数据。您可通过DMS登录新集群，也可通过其他客户端或者命令行的方式。本文介绍通过DMS登录集群进行验证，关于其他方式，请...
DescribeSmartVerify
ResultObject.MaterialInfo.riskInfo 补充说明 ResultObject.MaterialInfo.riskInfo包含风险分值（score）和风险标签（tags）两个参数，具体说明如下：风险分值（score）的取值范围是0~100，值越大表示行为的风险程度越大。在营销安全和...
DescribeVerifyResult
12 认证不通过，可能原因：公安网系统异常、无法进行照片比对。建议更换时间重新提交认证，若多次认证均为同一个原因，建议人工核实信息后，可通过控制台提交白名单设置后再发起认证。该认证状态仅在实人认证方案中出现。示例 请求示例 ...
DescribeVerifyResult
12 认证不通过，可能原因：公安网系统异常、无法进行照片比对。建议更换时间重新提交认证，若多次认证均为同一个原因，建议人工核实信息后，可通过控制台提交白名单设置后再发起认证。该认证状态仅在实人认证方案中出现。示例 请求示例 ...
深度解析Lindorm搜索索引（SearchIndex）特性
数据快速校验 支持对已有数据的比对校验，可以快速筛选出不一致的索引数据，帮助业务及时发现问题。索引实时可见（RealTime Search）写入成功后的索引数据可以立即可查，即为索引的实时可见，是一种强一致的模型。SearchIndex底层依赖...
照片实人认证
209 权威比对源异常 是 可能存在权威比对源异常，无法比对。210 认证通过 是 通过产品安全策略综合判断，建议认证通过。verifyScore阈值说明 千分之一误识率 万分之五误识率 万分之一误识率 十万分之五误识率 十万分之一误识率 70 71.5 75 ...
PolarDB PostgreSQL版（兼容Oracle）间的迁移
背景信息 PolarDB PostgreSQL版（兼容Oracle）作为一款企业级关系型数据库管理系统，具有广泛的应用和强大的社区支持。每个新版本的发布都带来了许多改进和新特性，以提高性能、可用性和安全性。目前，升级到 PolarDB PostgreSQL版（兼容...
云资源监控
监控报告 PTS除了在压测过程中提供监控数据，也在报告中整合了压测数据，以便在压测结束后，复盘压测过程时比对业务数据与负载数据使用，帮助您快速地定位负载情况、系统是否异常等。监控报告中的明细数据展现了在压测前配置的监控对象数据...
性能测试
性能测试是通过自动化的测试工具模拟多种正常、峰值以及异常负载条件来对系统的各项性能指标进行测试。需要在对系统性能有一定程度了解的前提下，在确定的环境下进行压测。从测试目的上性能压测又可以划分为负载测试、压力测试、并发测试、...
PolarDB PostgreSQL版间的迁移
通过数据传输服务DTS（Data Transmission Service），可以实现 PolarDB PostgreSQL版 集群间的迁移。前提条件 已创建源和目标 PolarDB PostgreSQL版 数据库集群，详情请参见 创建PolarDB PostgreSQL版数据库集群。已将源和目标 PolarDB ...
离线同步数据质量排查
如果写出数据和目标存储已有数据发生数据约束（主键冲突、唯一键约束、外键约束等），数据库则使用来源数据update更新目标表已有数据行，在目标表存在多个数据约束的情况下，数据替换可能会失败并产生脏数据 如果写出数据和目标存储已有...
常见问题
本文介绍您在购买金融级实人认证服务前或在使用过程中可能遇到的问题以及解决方案，帮助您更好地了解和使用...原先写法是将参数在URL中拼接传输，在离线比对场景会造成URL过大（核验图片在140 KB上下，但阿里云POP要求不大于128 KB）。改为...
产品概述
什么是E-MapReduce 开源大数据开发平台E-MapReduce（简称EMR），是运行在阿里云平台上的一种大数据处理的系统解决方案。EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理...
新功能发布记录
开启安全访问代理 接入达梦数据库 新增 全面直接接入达梦数据库（DM），包括数据导入、数据查询、数据变更、数据导出、数据服务与数据可视化等功能。支持的数据库类型与功能 数据类目 新增 对表进行分类，便于管理人员、开发人员及运维人员...
新建和管理公共标准属性
当选择 数据分类/数据分级 属性时，将对比数据标准中指定的数据分类数据分级值和其映射到的字段在安全模块配置中的数据分类数据分级值是否一致。需要开通资产安全模块才支持数据分类数据分级属性的监控。内容质量监控（需开通资产质量模块...
新建和管理公共标准属性
当选择 数据分类/数据分级 属性时，将对比数据标准中指定的数据分类数据分级值和其映射到的字段在安全模块配置中的数据分类数据分级值是否一致。需要开通资产安全模块才支持数据分类数据分级属性的监控。内容质量监控（需开通资产质量模块...
单个添加物模型
支持英文大小写字母、数字和下划线（_），长度限制为30个字符。模块描述 输入文字，对模块进行说明或备注。长度限制为4096个字符。添加自定义模块后，如果没有添加物模型并发布上线，返回 功能定义 页签，左侧模块列表不会展示该自定义模块...
JindoData概述
JindoData是阿里云开源大数据团队自研的数据湖存储加速套件，面向大数据和AI生态，为阿里云和业界主要数据湖存储系统提供全方位访问加速解决方案。JindoData套件基于统一架构和内核实现，主要包括JindoFS存储系统（原JindoFS Block模式）、...
- 产品推荐
- 这些文档可能帮助您