SAML2.0对接
前言 安全断言标记语言（英语：Security Assertion Markup Language，简称 SAML）是一个基于XML的开源标准数据格式，它在系统之间交换身份验证和授权数据，尤其是在身份提供者和服务提供者之间交换。IoT支持基于 SAML 2.0 的 SSO（Single ...
产品整体介绍
云原生数据仓库AnalyticDB PostgreSQL版 提供PB级数据实时交互式分析、ETL/ELT、BI报表展示功能，支持数据高吞吐实时写入与批量导入，提供ACID保证和标准事务隔离级别，采用MPP全并行架构，是一款具有高性价比的云原生数仓产品，提供基于...
IDaaS用户和便捷用户实现SSO
本文以阿里云 应用身份服务（IDaaS）为例，无影云电脑 和IDaaS基于SAML协议，互相交换元数据文件，即可实现SSO。终端用户可以安全使用IDaaS的访问凭据来登录 无影终端。背景信息 云身份服务IDaaS（英文名：Alibaba Cloud IDentity as a ...
常见问题
适用于海量账单、IM消息、物联网、车联网、风控、推荐等场景中的结构化数据存储，提供海量数据低成本存储、毫秒级的在线数据查询和检索以及灵活的数据分析能力。更多信息，请参见 什么是表格存储。为什么选择 表格存储？表格存储 具有以下...
DLA Lakehouse实时入湖
工作负载任务启动成功后，在 数据湖管理>元数据管理 页面中，查看从RDS数据源同步过来的元数据信息。单击 操作 列的 查询数据，在 Serverless Presto>SQL执行 页面，查看从RDS数据源同步过来的全量表数据。如果您在数据源RDS中变更了原始...
查看选项
密钥文件内容的格式为${bucket}:${access-key-id}:{access-key-secret}。示例：echo bucket-test:LTAIbZcdVCmQ*:MOk8x0y9hxQ31coh7A5e2MZEUz*>/etc/passwd-ossfs chmod 640/etc/passwd-ossfs echo bucket-test:LTAIbZcdVCmQ*:MOk8x0y9hxQ31...
自定义购买实例
（可选）高级选项 高级选项包括主机名、实例元数据、实例自定义数据等，用于定制实例在控制台和操作系统内显示的信息或使用方式。参数 说明 实例名称、描述、主机名、有序后缀 创建多台实例时，设置有序的实例名称和主机名称便于从名称了解...
Spark应用配置参数说明
云原生数据仓库 AnalyticDB MySQL 版（AnalyticDB for MySQL）Spark配置参数跟开源Spark中的配置参数基本一致。本文介绍 AnalyticDB for MySQL 与开源Spark用法不一致的配置参数。使用说明 Spark应用配置参数用于配置和调整Spark应用程序的...
DML操作常见问题
问题类别 常见问题 插入或更新数据 执行INSERT操作过程中出现错误，会损坏原有数据吗？执行INSERT INTO或INSERT OVERWRITE操作时，提示Table xxx has n columns，but query has m columns，如何解决？执行INSERT INTO或INSERT OVERWRITE...
上传文件
相关文档 如果您希望在上传文件时监控并显示数据传输的进度，您可以利用OSS SDK提供的进度监听功能实现一个进度条来反馈实时的上传状态。更多信息，请参见 上传进度条。如果需要控制上传的文件的缓存、下载、数据处理等行为，您可以在上传...
权限自查建议
但是当项目进入稳定发展的阶段后，数据安全将成为项目管理方面极为重要的一部分。因此，您需要自查和调整权限，提升项目数据安全性。权限自查 您可以从如下方面检查权限信息。类别 检查点 检查内容 账号及权限 账号数量统计 统计MaxCompute...
SAML配置
本文仅梳理了Microsoft Azure AD的SAML配置步骤，其他系统配置类似。1.在PDS启用SAML配置开关，获取SP的元数据文件 管理员 进入管理控制台>专属登录配置>...上传成功后 登录设置 将显示认证身份提供商（IdP)元数据信息 已配置，即配置成功。
数据管理
阿里云EMR Delta Lake提供了强大的数据处理能力，可以帮助您管理和操作数据，确保数据的质量和一致性。本文为您介绍EMR Delta Lake如何进行删除、更新与合并数据等操作。DELETE 该命令用于删除数据。示例如下。SQL DELETE FROM delta_table...
概览
网络质量对比分析 通过使用站点监控功能配置定时ping拨测任务，根据需要选择发起拨测的不同国家地域的运营商探测节点，运行一段时间后可以观察到不同国家地域的运营商线路到目标服务的网络时延情况。另外也可以配置多个ping拨测任务，进行...
MaxCompute表数据
绑定MaxCompute引擎至DataWoks工作空间后，您可以直接在数据地图进行MaxCompute表的相关操作。包括数据检索、数据预览、查看元数据详情、查看数据血缘关系、分类分组管理数据表等操作。本文为您介绍如何在数据地图查看和管理MaxCompute表。...
方案分析
根据Feed流中的数据类型，本文分别设计系统存储、同步与元数据方案。不同类型的Feed流产品架构存在差异，本文设计的产品是基于单向关系的时间排序Feed流，类似于微博。存储 Feed流系统中的存储库主要存放具体的用户Feed消息，而Feed消息...
如何打造千万级Feed流系统
数据分类 根据上述特征和信息流关系，Feed流系统中的数据主要可以分为三类：发送的数据 关系数据 接收的数据 系统分类 Feed流种类较多，可根据接收的数据和关系数据进行分类。根据接收数据的展示排序方式可以分为：基于时间的Timeline：按...
入门笔记本
这些笔记本显示了如何将JSON数据转换为Delta Lake格式，创建Delta表，追加到表，优化结果表，最后使用Delta Lake元数据命令显示表的历史记录，格式和详细信息。Delta Lake Quickstart Python笔记本 Note 链接地址：Databricks Delta ...
创建EMR Studio集群
集群内置MySQL：表示元数据存储在集群本地环境的MySQL数据库中。使用自建RDS：表示使用自建的阿里云RDS作为元数据库，更多信息请参见 配置独立RDS MySQL。数据开发存储 EMR Studio集群的数据都会存在OSS上，即使您的EMR Studio集群销毁了，...
客户案例
迁移到大数据MaxCompute、实时计算、DataWorks后，部分任务有10倍以上的性能提升，存储从自建Hadoop 3PB降到900T，利用Flink实时数据处理能力，将宝宝树现有的场景实时化（“基于用户ID维度和内容类型的实时行为”、“获取用户的实时群聊ID...
边缘物业一体机网络配置错误
1.问题现象 1.ping不通网关和外网 2.ping不通部分外网 3.可以ping通外网，但IP不是自己配置的那个，或者是一个网卡有两个IP 4.DNS1配置的不是223.5.5.5 2.排查方法 2.1网络配置之前需要注意以下几点：1.插上网线，一般插在LAN1口，插上...
功能发布记录
湖仓加速场景中，在集成数据湖DLF元数据管理下，支持使用DLF数据目录（Multi-Catalog）做元数据隔离，方便在测试环境、开发环境、跨部门集群之间做元数据隔离，详情请参见 OSS数据湖加速。湖仓加速场景中，支持加速存储于OSS-HDFS（又名...
存储空间地域属性
✓ 仅支持删除，不支持存储类型转换 基于最后一次访问时间的生命周期规则 您可以通过基于最后一次访问时间（Last Access Time）策略的生命周期规则来自动监测数据的访问模式并识别冷数据，然后将识别出来的冷数据进行存储类型的转换，从而...
单实例快速恢复
此时若Worker 2 发生故障，实例会检测到故障后10秒内使用其他的Worker（Worker 1）加载Shard 2的元数据，以起到快速恢复的作用。当节点重启被拉起后，系统不会自动将Shard的元数据加载到重新拉起的节点上，即Shard 2元数据还是会加载在...
创建Hudi数据源
说明 通常情况下，生产数据源和开发数据源需配置非同一个数据源，以使开发数据源与生产数据源的环境隔离，降低开发数据源对生产数据源的影响。但Dataphin也支持配置成同一个数据源，即相同参数值。参数 描述 存储配置 支持HDFS或OSS存储。...
参数配置
打开后，您可以按需为新数据动态创建分区，同时StarRocks会⾃动删除过期分区，从而确保数据的实效性。FALSE：不开启动态分区功能。max_partitions_in_one_batch 4096 批量创建分区时，分区数目的最大值。max_query_retry_time 2 FE上查询重...
创建抢占式实例
使用须知 在使用抢占式实例时，您需要考虑如下内容：选择合理的出价。出价要充分考虑到市场价格的波动，合理的出价可以提升抢占式实例创建成功的概率，而且创建后才不容易因为价格因素被释放。另外，出价还必须符合您根据自身业务评估后的...
优化器（Analyze）
MaxCompute的优化器是基于代价的优化器，需要基于数据的一些特征（即元数据），例如行数、字符串平均长度，准确估算代价。本文为您介绍MaxCompute收集元数据的方法，为优化查询性能提供帮助。背景信息 如果获取不到准确的元数据，优化器会...
创建Hudi数据源
说明 通常情况下，生产数据源和开发数据源需配置非同一个数据源，以使开发数据源与生产数据源的环境隔离，降低开发数据源对生产数据源的影响。但Dataphin也支持配置成同一个数据源，即相同参数值。参数 描述 存储配置 支持HDFS或OSS存储。...
Azure AD和无影云电脑实现SSO的示例
IdP元数据 的状态显示为完成，则说明企业IdP配置为可信的SAML IdP。后续步骤 配置完SSO后，终端用户可以通过验证身份提供商IdP的身份信息访问云电脑。下文以 Windows客户端 为例，指导您如何通过SSO连接云电脑。打开 Windows客户端。在 ...
新建和管理公共标准属性
当选择 数据分类/数据分级 属性时，将对比数据标准中指定的数据分类数据分级值和其映射到的字段在安全模块配置中的数据分类数据分级值是否一致。需要开通资产安全模块才支持数据分类数据分级属性的监控。内容质量监控（需开通资产质量模块...
新建和管理公共标准属性
当选择 数据分类/数据分级 属性时，将对比数据标准中指定的数据分类数据分级值和其映射到的字段在安全模块配置中的数据分类数据分级值是否一致。需要开通资产安全模块才支持数据分类数据分级属性的监控。内容质量监控（需开通资产质量模块...
附录：数据地图权限管控能力总览
DataWorks默认租户成员可进入数据地图模块，在数据地图模块中，默认可查看已接入数据地图的项目元数据，您可通过当前文档针对以上场景进行不同粒度的访问控制。数据地图权限管控介绍 数据地图支持的 功能模块、项目、表 这三个级别的元数据...
元数据采集
DataWorks数据地图为您提供 元数据采集 功能，方便您将不同系统中的元数据进行统一汇总管理，您可以在数据地图查看从各数据源汇集而来的元数据信息。本文为您介绍如何创建采集器，将各数据源的元数据信息汇集至DataWorks。前提条件 您需要...
AD FS和无影云电脑AD用户实现SSO
在 其他信息 区域，应用元数据 后单击 下载应用元数据文件 下载元数据文件到本地。在AD FS中上传元数据文件。登录AD FS所在服务器，打开服务器管理。在右上角选择 工具>AD FS管理。在 AD FS 对话框的左侧导航栏中，选择 信任关系>信赖方...
创建元数据
在基于HBase、Elasticsearch或MongoDB数据源创建服务单元之前，需要先创建对应数据源中数据表的元数据，以实现通过元数据确定数据源中数据表的结构。后续您可以通过该元数据读取到对应数据源的数据。本文为您介绍如何创建HBase、...
使用星环TDH作为元仓计算引擎进行元仓初始化
Dataphin元数据仓库（简称：元仓），是统一管理Dataphin内部业务元数据和相应计算引擎元数据的数据仓库，存在于Dataphin元仓租户中（OPS租户）的一个Dataphin项目空间中，由一系列的周期性数据集成节点、SQL脚本节点、Shell节点组成。元仓...
控制台发布记录
V1.7.0版本 发布日期 2024年01月11日 功能更新 功能分类 功能更新说明 存算分离场景 元数据管理新增支持数据库、表、分区、缓存显示功能。Query Profile中新增缓存命中分析指标。数据湖分析场景 元数据管理支持显示External Catalog的外部...
使用ping命令检测ECS与Lindorm之间的连接
新建Lindorm实例后，或者使用中的Lindorm实例突然无法连接时，请检查ECS与Lindorm之间的连接。您可以先在ECS的命令行中使用ping命令检测ECS与Lindorm是否能够连通。操作步骤 查看连接地址。登录ECS系统并在命令行中使用如下命令。ping说明 ...
使用RocksDB作为元数据后端
JindoFS元数据服务支持不同的存储后端，默认配置RocksDB为元数据存储后端。本文介绍使用RocksDB作为元数据后端时需要进行的相关配置。背景信息 RocksDB作为元数据后端时不支持高可用。如果需要高可用，推荐配置Raft作为元数据后端，详情请...
- 产品推荐
- 这些文档可能帮助您