基线检查
标准策略 企业版 旗舰版 该类型策略包含120+基线检查项，支持以下基线类型：Windows基线 未授权访问 等保合规 最佳安全实践 基础防护安全实践 国际通用安全最佳实践 弱口令 Linux基线 未授权访问 等保合规 最佳安全实践 容器安全 国际通用...
使用注册局安全锁
安全锁生效后如果您后期需要更新域名信息，需申请解锁和重新锁定时，您需要提交域名安全锁授权资料认证，完成解锁及加锁的指令操作。授权认证的详细操作步骤如下。准备授权认证资料。域名持有人为个人 需提供域名持有人身份证复印件、授权...
注册局安全锁FAQ
注册局安全锁的最小服务周期为1年，且要求域名的有效期需大于安全锁服务的有效期，为安全锁续费前请确保域名的有效期大于1年，如果您的域名有效期小于1年，需先完成域名续费再进行安全锁续费。续费后还需要重新进行授权认证吗？授权认证需...
如何实现不锁表转冷存
本文介绍不锁表转冷存的最佳实践。场景描述 通过 ALTER TABLE tblname SET TABLESPACE oss 转冷存会将表锁住，即转存过程中无法对表进行读写操作，如果表数据量比较大，转存的时间会比较久，长时间锁表可能会影响业务。为了解决这类问题，...
上下游存储
含有MaxCompute结果表的作业运行过程中报错Invalid partition spec 含有MaxCompute结果表的作业运行过程中报错No more available blockId Print结果表 如何在控制台查看print数据结果？Tablestore维表 维表进行JOIN时，如果查询不到数据，...
异构数据源访问
为确保 AnalyticDB PostgreSQL版 与Hadoop间的网络端口畅通，需将以下异构数据源访问功能会用到的Hadoop服务默认的端口全部加入安全组。具体操作，请参见 添加安全组规则。服务 端口号 Namenode IPC Hadoop2.x版本：8020 Hadoop3.x版本：...
配置SQL执行控制
无锁结构变更运行参数包括：配置切换表时锁表超时时间 配置切换表失败时重试次数 配置全量拷贝策略和大小 配置切换表的时间窗口 配置切换表完成后原表清理策略 说明 正常情况下，您无需配置任何参数，DMS自动采用最优和最安全的方式执行...
域名安全最佳实践
开启禁止转移锁的详细操作步骤，请参见 开启禁止转移锁。开启禁止更新锁 如果您的域名注册商是阿里云，您可以免费开启禁止更新锁。开启后可防止您的域名注册信息（域名联系人、电话、地址、传真、电子邮箱）、域名DNS服务器被恶意篡改。...
UpdateServiceSafetyLock-更新服务安全锁
更新服务安全锁，可以一定程度上避免对服务的误操作。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API暂无授权信息透出。请求语法 ...
非阻塞DDL
Nonblock DDL规避了执行DDL过程中MDL锁长时间获取不成功导致的连接堆积和阻塞，有效地解决了DDL导致的锁表问题。背景信息 用户在执行DDL操作的时候，若目标表存在未提交的长事务或大查询，DDL将持续等待获取MDL-X锁。在 PolarDB 中由于MDL-...
使用Druid
header-1.cluster-5678 iZbp10tx4egw3wfnh5o*安全Hadoop集群，请按如下操作进行：确保集群间能够通信（两个集群在一个安全组下，或两个集群在不同安全组，但两个安全组之间配置了访问规则）。在E-MapReduce Druid集群的每个节点的指定路径...
Windows 系统内相关目录图标出现小黄锁
问题现象 有时在 ECS Windows 系统内发现相关目录或文件上会出现如下图所示小黄锁安全图标。问题分析 该问题出现的原因通常是由于 Windows 的系统数据保护机制导致。当用户对相应文件或文件夹取消共享，或做了一些其它方面的权限调整时，...
显式锁定
同样，大多数本数据库命令会自动要求恰当的锁以保证被引用的表在命令的执行过程中不会以一种不兼容的方式删除或修改（例如，TRUNCATE 无法安全地与同一表中上的其他操作并发地执行，因此它在表上获得一个排他锁来强制这种行为）。...
应用场景
数据审计 智能解析数据库及大数据的通信流量，细粒度审计数据访问行为，通过对数据源全量行为的审计溯源、危险攻击的实时告警、风险语句的智能预警，为您最敏感的数据库资产做好最安全的监控保障。个人信息合规 可精准区分和保护个人数据，...
Query洞察
Query洞察旨在结合 慢Query日志 和表统计信息日志系统表hg_table_info，快速获取当前Query的执行信息，例如Query进程的资源消耗、Query所涉及的表的元数据，以及Query对应的执行计划（plan）。同时可以通过Query洞察快速判断当前Query是否...
智能门锁解决方案
阿里云IoT智能门锁解决方案全面赋能合作伙伴，携手打造...已将ID²安全服务融入在平台接入流程中 已将ID²-KM软件融入在锁端SDK中（AliOS）名词解释 虚拟用户：账户下创建的门锁实际的使用用户，例如使用门锁的每个家庭成员都是一个虚拟用户。
手工表概述
表详情：查看表的详情信息，包括 数据表名、负责人、手工表最近修改人、手工表最近修改时间、表描述、表结构。版本：支持查看表的发布版本信息，包括 版本更新时间、负责人、更新操作类型。搜索：支持查找当前表数据或替换表数据内容。自...
Multi-Master关键技术介绍
本文对Multi-Master架构的关键技术点进行介绍，包括分布式事务处理、全局死锁处理、DDL支持、分布式表锁支持、集群容错和高可用能力。分布式事务管理 AnalyticDB PostgreSQL版 分布式事务 AnalyticDB PostgreSQL版 通过二阶段提交协议（2PC...
JindoDistCp使用说明
功能全量对齐S3 DistCp和HDFS DistCp，性能较HDFS DistCp有较大提升，致力于提供高效、稳定、安全的数据拷贝工具。环境要求 JDK 1.8.0及以上。Hadoop 2.3+版本，请下载最新版的jindo-distcp-tool-x.x.x.jar，该JAR包含在jindosdk-${version...
内存型
超高网络收发包PPS能力 小规格实例网络带宽具备突发能力 实例网络性能与计算规格对应（规格越高网络性能越强）安全 支持vTPM特性，依托TPM/TCM芯片，实现从物理服务器到实例的启动链可信度量，提供超高安全能力 支持基于AMD安全加密虚拟化...
通过ES-Hadoop将HDFS中的数据写入Elasticsearch
ES-Hadoop是Elasticsearch推出的专门用于对接Hadoop生态的工具，可以让数据在Elasticsearch和Hadoop之间双向移动，无缝衔接Elasticsearch与Hadoop服务，充分使用Elasticsearch的快速搜索及Hadoop批处理能力，实现交互式数据处理。...
迁移HDFS数据到OSS
在进行数据迁移、数据拷贝的场景中，最常用的是Hadoop自带的DistCp工具。但是该工具不能很好利用对象存储OSS的特性，导致效率低下并且不能保证数据一致性。此外，该工具提供的功能选项较单一，无法很好地满足用户的需求。阿里云Jindo ...
HDFS数据源
由于snappy目前没有统一的stream format，数据集成目前仅支持最主流的hadoop-snappy（hadoop上的snappy stream format）和framing-snappy（google建议的snappy stream format）。ORC文件类型下无需填写。否 无 parquetSchema 如果您的文件...
2023年
Paimon外部表 2023-09-14 新增授权实践 新说明 为确保MaxCompute项目数据的安全性，项目所有者或者具备授权权限的用户需要对项目内成员的权限进行合理管控，确保权限不会过大也不会过小。本文为您介绍MaxCompute的权限管理案例。授权实践 ...
MySQL性能排查解析
整体性能排查思路 资源监控 CPU 内存 IO 网络 连接 磁盘 日志分析 error log slow log general log binlog SQL分析 slow log explain show profile optimizer_trace 锁分析 表锁 行锁 行锁 间隙锁 下一键锁 MDL锁 死锁 MySQL资源性能瓶颈 ...
使用CreateCluster API创建集群
选择安装应用 必须安装的依赖应用 不可同时安装的互斥应用 HDFS Hadoop-Common OSS-HDFS OSS-HDFS Hadoop-Common HDFS Hive Hadoop-Common、YARN 无 Spark2 Hadoop-Common、YARN、Hive Spark3 Spark3 Hadoop-Common、YARN、Hive Spark2 Tez...
创建集群
通过阿里云E-MapReduce（简称EMR），您可以轻松构建和运行Hadoop、Spark、Hive、Presto等开源大数据框架，以进行大规模数据处理和分析等操作。本文为您介绍在EMR on ECS上创建集群的操作步骤和相关配置，帮助您快速搭建和管理大数据集群。...
常见问题
hadoop jar<hadoop_home>/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-*-tests.jar sleep-m 1-mt 1000-r 0 您可以在 sleep-m 之间新增配置项以指定Queue，新增的参数为-Dmapreduce.job.queuename，参数值为default。...
MaxCompute/Hadoop物理视图和字段详情
勾选 仅展示直接下游表 后，默认展示当前表直接影响的下游表，取消勾选将展现所有下游影响表，最多展示15层。勾选 仅展示当前表影响 后，默认展示当前表作为输入表的集成任务，取消勾选将展现当前及所有下游影响表作为输入表的集成任务，最...
HDFS Balancer
DataLake集群 tailf hadoop-hdfs-balancer-master-1-1.c-xxx.log Hadoop集群 tailf hadoop-hdfs-balancer-emr-header-1.cluster-xxx.log 说明 命令中的 hadoop-hdfs-balancer-master-1-1.c-xxx.log 和 hadoop-hdfs-balancer-emr-header-xx....
使用JindoTable将Hive表和分区数据迁移到OSS/OSS-HDFS
配置MoveTo工具在HDFS下的锁目录 在Hadoop配置文件 core-site.xml 或 hdfs-site.xml（任选一个即可，在$HADOOP_CONF_DIR 目录下）新增配置项 jindotable.moveto.tablelock.base.dir。该配置的值应指向一个HDFS目录，目的是存放MoveTo工具在...
CDH6与文件引擎集成
CDH（Cloudera's Distribution,including Apache Hadoop）提供Hadoop组件的安装、运维、监控等功能，您可以使用 CDH6（表示CDH 6.X 版本）管理您的Hadoop集群。本文介绍如何将CDH6与Lindorm文件引擎集成，来替换底层HDFS存储。您可以基于...
SHOW
备份操作 查看当前项目内的表和处于备份状态的表信息，包括表名、表ID、创建时间和删除时间等。查看指定表的备份数据，获取保留周期内备份的各个数据版本信息。查看已删除表的备份数据，获取保留周期内备份的各个数据版本信息。查看指定...
SHOW
备份操作 查看当前项目内的表和处于备份状态的表信息，包括表名、表ID、创建时间和删除时间等。查看指定表的备份数据，获取保留周期内备份的各个数据版本信息。查看已删除表的备份数据，获取保留周期内备份的各个数据版本信息。查看指定...
并行安全性
规划器把查询中涉及的操作分类成 并行安全、并行受限 或者 并行不安全。并行安全的操作不会与并行查询的使用产生冲突。并行受限的操作不能在并行工作者中执行，但是能够在并行查询的领导者中执行。因此，并行受限的操作不能出现在 Gather ...
DataWorks On EMR使用说明
数据地图概述 安全中心 数据保护伞 审批中心 安全中心是集数据资产分级分类、敏感数据识别、数据授权管理、敏感数据脱敏、敏感数据访问审计、风险识别与响应于一体的一站式数据安全治理界面，帮助用户落地数据安全治理事项。安全中心概述 ...
新建离线物理表
离线物理表可帮助您统一配置与管理计算任务开发过程中用到的离线物理表，提升开发效率。本文为您介绍如何新建离线物理表。使用限制 若您未购买 数据标准 模块，不支持设置表中的 数据标准 字段。若您未购买 资产安全 模块，不支持设置表中...
背景信息以及准备工作
阿里云对象存储服务OSS（Object Storage Service），是阿里云提供的海量、安全、低成本、高可靠的云存储服务。越来越多的用户倾向于把大量的日志文件存储在OSS中，DLA可以在不移动OSS日志文件的情况下读取并分析日志文件数据，定位服务故障...
ECS应用角色（EMR 3.32及之前版本和EMR 4.5及之前版本...
基于RAM，您可按最小够用原则给角色授权，做到权限最小化，这样可以将安全风险降到最低。提高用户体验。尤其在交互式访问OSS资源时，可避免让您输入一长串的OSS路径。EMR自带服务 EMR自带服务中运行的作业均可以自动基于MetaSerivce服务免...
客户案例
客户需求 存在Hadoop1.0、2.0两个集群，技术架构复杂，平台的稳定性和安全性、资源的弹性伸缩能力都遇到了瓶颈。日志来源渠道多，实时性要求高，基于fluentd的文件采集服务，随着日志量的增多，性能、稳定性存在明显瓶颈。“人肉脚本”的...
- 产品推荐
- 这些文档可能帮助您