质量规则模板类型
如果差异较大，可能存在较大数据质量的问题需要进行确认和修复。实时多链路对比 高可用场景下，需要构建多条链路，以便数据出现异常时，能够及时切换。对于多链路之间的数据计算进度监控则可以发现一些数据滞留、统计偏差问题，提升实时...
质量规则模板类型
如果差异较大，可能存在较大数据质量的问题需要进行确认和修复。实时多链路对比 高可用场景下，需要构建多条链路，以便数据出现异常时，能够及时切换。对于多链路之间的数据计算进度监控则可以发现一些数据滞留、统计偏差问题，提升实时...
常见问题
MaxCompute作为大数据平台，对业务数据是否有好的监控手段？MaxCompute的项目发挥什么作用？如何获取MaxCompute中的Accesskey_ID和AccessKey_Secret？现有账号的AccessKey被禁用，创建一个新的AccessKey，会对之前AccessKey创建的周期性...
实时物化视图
实时物化视图代价 实时物化视图类似实时维护的索引，在对查询性能进行大幅度优化的同时，对高性能写入有一定影响。影响实时物化视图写入性能的几个关键因素：构建实时物化视图的查询语句的复杂度和级联的层数。单表和简单JOIN的单层实时...
互联网金融
架构优势：提供互金业务系统架构参考 按需规划网络、部署方案 确定云计算的使用范围 规划安全体系 技术架构 架构说明：业务背景：政策红利不断，大集团争先恐后进入，p2p网贷进入飞速发展的阶段，对平台的快速构建和安全防护亦提出了更高的...
SmartData常见问题
JindoFS是阿里云开源大数据E-MapReduce产品提供的一套Hadoop文件系统，主要对Hadoop和Spark大数据生态系统使用阿里云OSS提供多层次的封装支持和优化。基础功能提供适配OSS和支持访问，您可以直接使用JindoFS SDK；标准功能针对OSS提供分布...
调用链采样模式选择
与固定采样率不同，自适应采样通过引入多项采样命中策略，动态决定是否对一条链路进行采样，从而解决固定采样率在小采样率下的覆盖度问题以及大采样率下的成本问题。在大流量场景，以及业务流量变化比较大的场景，推荐您选择自适应采样模式...
升级数据库大版本
随着PostgreSQL社区对低版本（如9.4、10）实例的停止维护，继续使用低版本实例将存在风险，如果您需要升级低版本的RDS PostgreSQL实例到更高版本，或者希望使用高版本的新特性，建议您进行大版本升级操作。背景信息 PostgreSQL社区会定期...
导入概述
异步导入 Spark Load 通过外部的Spark资源实现对导入数据的预处理，提高StarRocks大数据量的导入性能并且节省StarRocks集群的计算资源。Spark Load是一种异步导入方式，需要通过MySQL协议创建导入作业，并通过 SHOW LOAD 查看导入结果。...
常见问题
常见的对查询性能影响比较大的场景：查询语句特别复杂。例如查询语句中WHERE组合条件过多或IN查询中元素过多等，都可能导致查询延时增大。查询时建议精简查询语句，非必要的查询条件可以去除。数据量比较大，没有使用分区索引，或者使用了...
集群概述
大数据计算企业：大规模数据计算、高性能数据处理、高弹性需求等类型业务，对集群稳定性、性能和效率有较高要求。开展中国业务的海外企业：对有赔付标准的SLA以及安全隐私等非常重视。金融企业：需要提供赔付标准的SLA。功能特点 更可靠的...
监控大屏使用说明
监控指标个性化选择 支持对监控指标的个性化选择，可按图左中标签顺序一次筛选符合条件的产品，显示效果见图右：⑧-应用拓扑锁定 监控大屏支持通过鼠标对当前应用进行缩放，通过锁定当前应用拓扑，避免无关操作影响：⑨-全屏模式 更大视角...
导入概述
同时，如果调大参数 write_buffer_size，则 tablet_writer_rpc_timeout_sec 参数也需要适当调大。streaming_load_rpc_max_alive_time_sec 在导入过程中，StarRocks会为每个Tablet开启一个Writer，用于接收数据并写入。该参数指定了Writer的...
架构信息查询导航
对Redis协议兼容性要求较高的业务。Redis作为持久化数据存储使用的业务。单个Redis性能压力可控的场景。Redis命令相对简单，排序和计算之类的命令较少的场景。标准版-单副本 企业版 社区版 标准版-单副本采用单节点架构。纯缓存类业务场景...
参考：内核参考
值越小对QPS影响较大，越大会招用较多内存，推荐值（1024*1024）。QcSearcher 参数名 类型 默认值 说明 proxima.qc.searcher.scan_ratio FLOAT 0.01 用于计算 max_scan_count 数量，总doc数量*scan_ratio。proxima.qc.searcher.brute_force...
ACK集群Pro版概述
同时，ACK集群Pro版 进一步增强了集群的可靠性、安全性和调度性，并且支持赔付标准的SLA，适合生产环境下有着大规模业务，对稳定性和安全性有高要求的企业客户。本文介绍 ACK集群Pro版 的使用场景、功能特点、产品计费，以及与 ACK集群基础...
数据压缩对性能的影响说明
确认对业务影响不大的情况下，再变更线上正在服务的集群 开启数据压缩后的调优手段：开启压缩后，虽然对性能的影响比较大，但是可以通过 索引表的加载策略，抵消部分影响，配置方式如下：在cache策略中，load_config>load_strategy_param...
数据压缩对性能的影响说明
确认对业务影响不大的情况下，再变更线上正在服务的集群 开启数据压缩后的调优手段：开启压缩后，虽然对性能的影响比较大，但是可以通过 索引表加载策略，抵消部分影响，配置方式如下：在cache策略中，load_config>load_strategy_param添加...
E-MapReduce本地盘实例大规模数据集测试
大数据基准测试用于公平、客观评测不同大数据产品/平台的功能和性能，对用户选择合适的大数据平台产品具有重要的参考价值，TPC-DS逐渐成为了业界公认的大数据系统测试基准。本文以阿里云E-MapReduce+D1本地盘方案模拟TPC-DS测试的演示方案...
数据重排
说明 重排前请查看表中数值的分布情况，对列值占比大的列进行重排效果会比较好（customer 表中 c_email_address 字段列值占比较大）。使用 DISTRIBUTE BY+SORT BY 方式进行数据重排：SET odps.namespace.schema=true;insert overwrite ...
全增量实时同步至Hologres
限流：考虑到速度过高可能对数据库造成过大的压力从而影响生产，数据集成同时提供了限速选项，您可以通过限流控制同步速率，从而保护读取端数据库，避免抽取速度过大，给数据库造成太大的压力。限速最小配置为1MB/S，最高上限为30MB/s。离...
选择付费方式
对周期性高密度计算作业使用包年包月模式，对非周期性的大规模数据处理作业使用按量计费模式。按量计费模式下可以不存储数据，通过读取其它账号下的表获取数据，从而可以节省数据存储费用。不同账号下跨表计算需要通过授权来实现，详细请...
DownloadSession
该操作开销较大，Server端会对数据文件创建索引，当文件数很多时，该时间会比较长。同时Server端会返回总Record数，可以根据总Record数启动多个并发同时下载。下载数据：请求方式：异步。调用 openRecordReader 方法，生成RecordReader实例...
离线同步并发和限流之间的关系
限制和最佳实践：分布式执行模式下，配置较大任务并发度可能会对您的数据存储产生较大的访问压力，请评估数据存储的访问负载。如果您的独享资源组机器台数为1，不建议使用分布式执行模式，因为执行进程仍然分布在一台Worker节点上，无法...
离线同步任务调优
在数据库性能限制的情况下，同步速度并非越快越好，考虑到速度过高可能对数据库造成过大的压力从而影响生产，数据集成支持了限速选项，您可根据业务合理配置该值。详情请参见：限制同步速度。数据同步速度的影响因素 数据同步速度受来源与...
语雀
同时这些应用在被大并发调用时，对CPU的压力非常大。再加上有些场景需要运行用户输入的代码，攻击者通过构建恶意输入，可以在服务器上运行攻击代码，非常危险。在没有引入函数计算之前，语雀为了支持这些功能，尽管单独分配了一个任务集群...
Logview诊断实践
子查询多阶段执行 类似，Merge作业也是作为一个单独的 tab 页显示，自动合并小文件多出来的Merge Task，虽然会增加当前作业整体执行时间，但是会让结果表在合并后产生的文件数和文件大小更合理，从而避免对文件系统产生过大压力，也使得表...
DQL操作常见问题
说明 海量数据的全排序，对性能的影响非常大，而且很容易造成内存溢出问题，请尽量避免执行该操作。MaxCompute是否支持ORDER BY FIELD NULLS LAST语法？MaxCompute不支持此语法。MaxCompute支持的语法请参见 与其他SQL语法的差异。执行...
集群架构
云原生内存数据库Tair 提供双副本集群架构实例，可轻松突破Redis自身单线程瓶颈，满足大容量、高性能的业务需求。集群架构支持代理和直连两种连接模式，您可以根据本章节的说明，选择适合业务需求的连接模式。注意事项 云原生 版集群架构不...
YARN调度器
租户内应用调度策略：租户内应用调度策略主要包括Fifo与Fair两种，Fifo即先入先出调度，对所有应用按优先级从高到低、提交时间从前往后的顺序排序，Fair是公平调度，对所有应用按资源使用比例从小到大、提交时间从前往后的顺序排序。...
规则引擎
是 大小写敏感 caseSensitive 表示对匹配值中的字符是否大小写敏感。否 规则条件名称 name 表示规则条件的名称。是 生效状态 status 表示规则条件的生效状态。是 条件表达式的配置方法 匹配类型名称 域名配置功能函数 condition 中对应的...
防御挖矿程序最佳实践
利用大数据可视化技术对全网IP访问行为关系进行画像，利用机器学习发现异常IP及访问域，并联动全网攻击数据，最终落地形成中控威胁情报库，从而可以对服务器流量通信进行情报匹配，实时拦截恶意的中控连接通信。您可以开启云防火墙的 防护...
录音指导
噪声问题 噪声是人声以外的声音，对最终合成效果影响很大，且很难有效去除，因此需要在录制阶段特别注意。含有噪声的音频具体表现为句间静音部分有持续不断的非人声数据，通过波形图或频谱图放大后如下图所示：理想的低噪声数据在波形图中...
实现开发生产等多套环境隔离
使用DataWorks进行大数据开发时，支持对开发、测试、生产等环境进行隔离，当您联合使用了其他阿里云产品时，也可根据环境隔离诉求进行对应业务的环境设置与隔离，本文以DataWorks联合EMR、OSS等产品为例，为您介绍如何实现开发生产等多套...
如何查询云数据库Redis中过大的Key
您可通过以下方式查询 云数据库Redis版 中的大Key：在Redis控制台查看大Key（推荐），对性能几乎无影响，具体操作请参见 实时Top Key统计。对历史备份数据进行分析，找出大Key、热Key等，对线上服务无影响，具体操作请参见 离线全量key分析...
实时同步任务延迟解决方案
确认MySQL源端是否有提交大事务或者变更过于频繁（如大量的DML和DDL的操作）对于源端是MySQL的实时同步任务，如果根据上述步骤未发现异常或Failover，则需要检查源端系统是否提交了大事务或者源端系统变更过于频繁（如大量的DML和DDL的操作...
字段标准
字段标准是对含义相同但字段名称不同的数据进行统一规范管理的数据准则，字段标准可定义字段的取值范围、度量单位等内容。当字段标准发生变化时可快速定位或变更对应的表，极大地提升了应用效率和准确率。本文将为您介绍字段标准的创建方法...
长周期指标的计算优化方案
影响性能的问题根源是多天汇总数据量过大，建议您使用构建临时表的方式对每天的数据进行轻度汇总，这样可以去掉很多重复数据，减少数据量。实验方案 构建中间表，每天汇总一次。对于上述示例，构建 item_id+visitior_id 粒度的日汇总表，记...
混合负载HTAP
说明 分析型查询指的是涉及数据量较大、计算比较复杂的查询，例如对一定时间区间内的数据进行聚合，相比于业务中常见的简单查询，这类查询往往要执行数秒甚至数分钟，需要消耗较多的计算资源。为了提高复杂分析型查询的速度，PolarDB-X 将...
TPC-H
本次测试的挑战主要有：30 TB大数据集：本次选用30 TB数据集，最大表1800亿行，对数据的导入、存储、计算性能都是巨大的挑战。复杂关联分析：多表Join、相关查询、数据多维过滤和高精度数值计算等，不仅对优化器是挑战（如何解相关、选择最...
- 产品推荐
- 这些文档可能帮助您