FineBI
您可以通过FineBI连接 云原生数据仓库AnalyticDB MySQL版，以可视化的形式帮助您进行多样数据管理，例如过滤、分组汇总、新增列、字段设置、排序等，极大的提升了数据整合的便利性和效率。前提条件 了解FineBI与 AnalyticDB MySQL版 之间的...
数据标准建模
将数据字典和质量校验函数以及逻辑表物理化到数据库，帮助您在数据标准的约束下构建数据模型，将数据标准贯彻到数据质量分析、保障及检查的全过程中，将散乱的多源异构数据加工成标准、干净的数据。前提条件 已根据快速入门教程完成加载样...
查询并下载数据
样例数据下载：样例数据下载的格式和数据运行记录由数据下载审批设置决定。更多信息，请参见 数据下载配置。说明 若规范设置中已开启下载审批，您需提交 数据下载申请 后才可进行下载。审批通过后，您可查看审批任务、当前运行结果或在运行...
数据下载配置
区域 描述 ① 列表区 为您展示 项目、数据下载范围、是否开启 样例数据审批、样例数据审批模板、是否开启 完整数据审批、完整数据审批模板 信息。② 操作区 您可以对项目执行 编辑 和 删除 操作。编辑：您可编辑审批配置的信息，详情请参见...
数据下载配置
区域 描述 ① 列表区 为您展示 项目、数据下载范围、是否开启 样例数据审批、样例数据审批模板、是否开启 完整数据审批、完整数据审批模板 信息。② 操作区 您可以对项目执行 编辑 和 删除 操作。编辑：您可编辑审批配置的信息，详情请参见...
查询并下载数据
样例数据下载：样例数据下载的格式和数据运行记录由数据下载审批设置决定。更多信息，请参见 数据下载配置。说明 若规范设置中已开启下载审批，您需提交 数据下载申请 后才可进行下载。审批通过后，您可查看审批任务、当前运行结果或在运行...
字典编码（公测）
云原生数据仓库AnalyticDB PostgreSQL版 Beam存储引擎提供的字典编码功能，可以将低基数的字符串类型数据压缩为整型数据，提升存储效率，加速过滤、聚合等类型查询的性能。注意事项 仅存储弹性模式 v7.0.x版本 支持Beam字典编码功能。字典...
调试实时任务
上传本地数据前需要先下载样例，样例由Dataphin自动识别读写的表和表的schema信息生成的csv格式样例模板，您可根据下载的样例编辑需要上传的数据，单击 上传 后，数据自动填充至 元数据采样 区域。手动输入数据 适用于采集的数据比较少，...
调试实时任务
上传本地数据前需要先下载样例，样例由Dataphin自动识别读写的表和表的schema信息生成的csv格式样例模板，您可根据下载的样例编辑需要上传的数据，单击 上传 后，数据自动填充至 元数据采样 区域。手动输入数据 适用于采集的数据比较少，...
通过数据同步功能同步Kafka至湖仓版（推荐）
获取Kafka样例数据在大于8KB的情况下，Kafka API会将数据进行截断，导致解析样例数据为JSON格式时失败，从而无法自动生成字段映射信息。使用流程 步骤一：新建数据源。步骤二：新建同步链路。步骤三：启动数据同步任务。步骤四：数据分析。...
管理保密字典
Opaque 若类型选择为 Opaque，则需要配置以下参数：可选：若您输入保密字典的明文数据，请选中 对数据值进行base64编码。配置保密字典的数据。单击+添加，在 名称 和 值 文本框中，输入保密字典名称和值。私有镜像仓库登录密钥 若类型选择...
管理保密字典
Opaque 若 类型 选择为 Opaque，则需要配置以下参数：可选：若您输入保密字典的明文数据，请选中 对数据值进行base64编码。配置保密字典的数据。单击+添加，在 名称 和 值 文本框中，输入保密字典名称和值。私有镜像仓库登录密钥 若 类型 ...
管理保密字典
Opaque 若 类型 选择为 Opaque，则需要配置以下参数：可选：若您输入保密字典的明文数据，请选中 对数据值进行base64编码。配置保密字典的数据。单击+添加，在 名称 和 值 文本框中，输入保密字典名称和值。私有镜像仓库登录密钥 若 类型 ...
API概览
SyncInstanceMeta 同步实例下所有数据库的元数据 调用SyncInstanceMeta同步实例下所有数据库字典元数据。SyncDatabaseMeta 同步数据库元数据 同步数据库字典元数据。工单操作 API 标题 API概述 通用 通用 CreateOrder 创建工单 创建工单。...
数据查询
前提条件 已根据快速入门教程完成加载样例数据操作，具体信息请参见 样例数据。操作步骤 登录企业数据智能平台。在页面左上角，选择>协同。在顶部菜单栏，单击 图标，选择 快速入门 工作组。在左侧导航栏，单击 图标。单击 物理表查询，...
数据服务
前提条件 已根据快速入门教程完成加载样例数据操作，具体信息请参见 样例数据。已根据快速入门教程完成数据开发操作，具体信息请参见 数据开发。操作步骤 登录企业数据智能平台。在页面左上角，选择>协同。在顶部菜单栏，单击 图标，选择 ...
数据同步
前提条件 已根据快速入门教程完成加载样例数据操作，具体信息请参见 样例数据。数据同步 登录企业数据智能平台。在页面左上角，选择>协同。在顶部菜单栏，单击 图标，选择 快速入门 工作组。在左侧导航栏，单击 图标。获取物理表，具体步骤...
数据资产管理
前提条件 已根据快速入门教程完成加载样例数据操作，具体信息请参见 样例数据。已根据快速入门教程完成物理化逻辑表操作，具体信息请参见 数据标准建模。已根据快速入门教程完成API资产上线操作，具体信息请参见 数据服务。新建资产目录 ...
云数据库ClickHouse企业版兼容性指导
字典 云数据库 ClickHouse 企业版 目前支持从PostgreSQL、MySQL、远程和本地ClickHouse服务器、Redis、MongoDB和HTTP来源获取字典，以加速ClickHouse中的查找操作。联邦查询 云数据库 ClickHouse 企业版 支持在云中进行跨集群通信和与外部...
Spark Load
全局字典：保存了数据从原始值到编码值映射的数据结构，原始值可以是任意数据类型，而编码后的值为整型。全局字典主要应用于精确去重预计算的场景。基本原理 用户通过MySQL客户端提交Spark类型导入任务，FE记录元数据并返回用户提交成功。...
通过自定义模型识别
单击完成训练的模型 操作 列的 图标，即可查看通过该模型提取的样本特征对样例数据识别的准确率。建议当准确率为100%时，再投入上线使用该模型。说明 如果模型训练的评估结果准确率达不到100%，则投入上线使用识别的数据可能会有较大误差。...
客户案例
DataWorks在多个行业中均有典型的案例落地，帮助多个行业的企业解决数据痛点，挖掘数据价值，本文为您介绍典型行业中已落地的客户案例。新零售行业：大润发云上数据中台建设 客户架构如下。客户简介 为了快速数字化转型，拥抱新零售，...
Spark Load
全局字典 适用场景 目前Doris中Bitmap列是使用类库Roaringbitmap实现的，而Roaringbitmap的输入数据类型只能是整型，因此如果要在导入流程中实现对于Bitmap列的预计算，则需要将输入数据的类型转换成整型。在Doris现有的导入流程中，全局...
实时消费Kafka数据
已在Kafka服务中生成了大量样例数据。本文以阿里云云消息队列Kafka版为例，具体信息如下。接入点信息：alikafka-post-cn-wwo3hflb*-1-vpc.alikafka.aliyuncs.com:9092,alikafka-post-cn-wwo3hflb*-2-vpc.alikafka.aliyuncs.com:9092,...
社区兼容版账号管理
读取和设置权限：对授权的数据库和字典仅可进行读和设置的操作，不可写入数据。DDL权限 是否授予DDL权限。允许DDL。禁止DDL。密码 数据库账号密码，设置规则如下。由大写字母、小写字母、数字和特殊字符中的至少三种组成。()_+-=为特殊字符...
同步字典
实例录入数据管理DMS后，DMS会自动采集实例中数据库的字典信息。当您在DMS发现实例信息不一致时，您可以手动同步字典。如果您在DMS进行数据库结构变更，DMS会自动同步字典，否则需要手动同步字典。背景信息 字典信息用于实现数据库、表、...
使用保密字典
您可以在工作负载环境变量、命令行参数和数据卷三个场景使用保密字典（Secrets），也可以在 创建应用服务 的 配置 Pod 模板 步骤中使用保密字典拉取镜像。前提条件 已创建保密字典。说明 在 Pod 中使用保密字典时，Pod 和保密字典需处于同...
企业版账号管理
在 修改权限 面板，请根据需求修改数据库账号的 数据库和字典访问范围、DML权限 和 DDL权限。单击 确定。重置密码 登录 云数据库ClickHouse控制台。在页面左上角，选择集群所在地域。在 集群列表 页面，选择 企业版实例列表，单击目标集群...
在容器组中使用保密字典
背景信息 您可以在Pod中使用保密字典，有多种使用场景，主要包括：使用保密字典配置Pod的数据卷 使用保密字典设置Pod的环境变量 更多关于保密字典的信息，请参见 保密字典。创建保密字典 本示例创建保密字典secret-test。登录 容器计算服务...
在容器组中使用保密字典
背景信息 您可以在Pod中使用保密字典，有多种使用场景，主要包括：使用保密字典配置Pod的数据卷 使用保密字典设置Pod的环境变量 更多关于保密字典的信息，请参见 保密字典。创建保密字典 本示例创建保密字典secret-test。登录 容器服务管理...
在容器组中使用保密字典
背景信息 您可以在Pod中使用保密字典，有多种使用场景，主要包括：使用保密字典配置Pod的数据卷 使用保密字典设置Pod的环境变量 更多关于保密字典的信息，请参见 保密字典。创建保密字典 本示例创建保密字典secret-test。登录 容器服务管理...
东软案例
在互联网服务场景下，运维监控数据量激增，采集监控的数据类型更加多样（时序指标、日志、代码链路等），现有运维系统采用的单模引擎（如RRD数据库、openTSDB时序数据库、ElasticSearch检索类数据库）应对这些实时、高并发采集，且价值密度...
数据结构
如下为各数据类型转换为字符串示例：类型 样例 转换类型 转换样例 整数 1 字符串"1"浮点 1.2 字符串"1.2"布尔 True 字符串"true"字节 b"123"使用UTF8解码为字符串"123"元组 样例1：(1,2,3)样例2：("a",1)列表的字符串 样例1："[1,2,3]"样例...
管理保密字典
在保密字典的详情页面，查看该保密字典的基本信息，以及保密字典包含的数据信息。对于TLS类型证书可在详情页查看证书的详细信息，包括证书关联域名、证书状态、证书服务提供商等。修改保密字典 登录 EDAS控制台。在左侧导航栏，选择 应用...
2023年
使用pgcrypto及国密SM4加密算法 字典适配Delta 数据存入Delta后，可采用字典编码进行优化，实现存储和查询性能的提升。字典编码（公测）多维排序 新增Beam排序优化功能，可以通过Beam组合排序和多维排序实现更灵活和精确的排序能力。每个...
常见问题
支持的数据库部署位置（接入方式）阿里云实例 有公网IP的自建数据库 通过数据库网关DG接入的自建数据库 通过云企业网CEN接入的自建数据库 ECS上的自建数据库 通过专线/VPN网关/智能接入网关接入的自建数据库 阿里云实例 通过数据库网关DG接...
常见问题
数据安全中心对于结构化数据源的扫描机制是什么样的？数据安全中心扫描数据源中的字段名称、字段值综合判断该数据是否为敏感数据，只通过字段值无法判断数据是否敏感。例如：年龄数据。敏感数据识别是如何实现的？敏感数据识别是在完成数据...
mysqlclient 连接 OceanBase 数据库
本文将介绍如何使用 mysqlclient 和 OceanBase 数据库构建一个应用程序，实现创建表、插入数据和查询数据等基本操作。点击下载 python-mysqlclient 示例工程 前提条件 您已安装 Python 3.x 和 pip。您已安装 OceanBase 数据库并且创建了 ...
基于Delta lake的一站式数据湖构建与分析实战
数据湖作为一个集中化的数据存储仓库，支持的数据类型具有多样性，包括结构化、半结构化以及非结构化的数据，数据来源上包含数据库数据、binglog 增量数据、日志数据以及已有数仓上的存量数据等。数据湖能够将这些不同来源、不同格式的数据...
基于DLF、RDS或Flink、OSS支持Delta Lake或Hudi存储...
Delta Lake和Hudi是数据湖方案中常用的存储机制，为数据湖提供流处理、批处理能力。MaxCompute基于阿里云DLF、RDS或Flink、OSS产品提供了支持Delta或Hudi存储机制的湖仓一体架构。您可以通过MaxCompute查询到实时数据，即时洞察业务数据...
- 产品推荐
- 这些文档可能帮助您