文档修订记录
DataWorks数据安全治理路线 2023年12月更新记录 时间 特性 类别 描述 产品文档 2023.12.29 新增功能 数据开发 若您要在DataWorks中进行数据建模、数据开发或使用运维中心周期性调度任务，需先将已创建的数据源或集群绑定至数据开发...
E-MapReduce弹性低成本离线大数据分析
大数据是一项涉及不同业务和技术领域的技术和工具的集合，海量离线数据分析可以应用于多种商业系统环境，例如，电商海量日志分析、用户行为画像分析、科研行业的海量离线计算分析任务等场景。离线大数据分析概述 主流的三大分布式计算框架...
产品概述
该工具能够帮助用户快速构建自己的地理分析地图，挖掘时空数据的价值，并支持商业决策和科学研究等领域的应用，详情请参见 什么是DataV-Atlas可视分析地图。DataV-Card 可视分析创作间 DataV-Card可视分析创作间是一款专为高频数据处理的...
简介
HBase Ganos是什么 HBase Ganos是阿里云推出的一款包含管理 空间几何数据、时空轨迹、专题栅格、遥感影像的时空大数据引擎系统。系统兼容开源GeoMesa、GeoServer等生态，内置了高效的时空索引算法、空间拓扑几何算法、遥感影像处理算法等，...
资产安全概述
应用场景 基于Dataphin实现数据安全保护的一些典型的场景：场景1：业务数据中敏感数据保护 您可以使用资产安全的敏感数据识别和保护功能，脱敏明文敏感数据，保证业务数据安全。例如，姓名张三脱敏后*三。场景2：开发环境数仓建设 敏感数据...
资产安全概述
应用场景 基于Dataphin实现数据安全保护的一些典型的场景：场景1：业务数据中敏感数据保护 您可以使用资产安全的敏感数据识别和保护功能，脱敏明文敏感数据，保证业务数据安全。例如，姓名张三脱敏后*三。场景2：开发环境数仓建设 敏感数据...
常见问题
1.只使用领域数据进行SFT训练，会遗忘大模型原有的通用知识。2.如何准备好的领域SFT数据：(1)任务定义要清晰，典型的不清晰是指同一个输入，对应模棱两可的两种答案。(2)数据质量、准确率要高，答案一定要是准确回答当前问题的，简单明了，...
基于MaxCompute进行大数据BI分析
背景信息 MaxCompute：用于进行大规模数据计算，详情请参见 什么是MaxCompute。AnalyticDB MySQL：用于进行海量数据实时高并发在线分析，详情请参见 云原生数据仓库AnalyticDB MySQL版。DataWorks：可实现ETL功能，对复杂数据集进行采集、...
根据领域对象批量生成相关模型
背景信息 技术建模中结构对象、领域对象和数据对象中的很多字段可能都是相同的，如果所有的模型都从对象到字段逐个手动创建，会带来较大的维护成本。系统支持根据领域对象直接批量创建应用服务、结构对象和数据模型，同时会自动创建模型间...
时序引擎应用开发简介
使用OpenTSDB或时间序列数据库TSDB的应用开发步骤 Lindorm时序引擎兼容相关接口，对于已有使用OpenTSDB或者时间序列数据库TSDB的应用程序，您可以按照以下步骤进行应用迁移：应用适配 修改应用程序中的连接字符串，连接的目标从原有的...
数据建模：智能数据建模
智能数据建模是阿里云DataWorks自主研发的智能数据建模产品，沉淀了阿里巴巴十多年来数仓建模方法论的最佳实践，包含数仓规划、数据标准、维度建模及数据指标四大模块，帮助企业在搭建数据中台、数据集市建设过程中提升建模及逆向建模的...
快速上手可观测链路 OpenTelemetry 版
说明 语言 列显示 图标的应用为接入应用监控的应用，显示-图标的应用为接入可观测链路 OpenTelemetry 版的应用。后续步骤 将应用数据上报至 可观测链路 OpenTelemetry 版 控制台后，您可以在 可观测链路 OpenTelemetry 版 控制台执行以下...
应用场景
为防止违法金融行为带来经济损失，通过使用异常检测算法在网络金融交易领域的应用，准确识别网络金融交易中存在的异常交易情况，及时阻止违法金融行为。通过图数据库，识别支付用户的设备信息、支付环境信息、转账信息、社交信息，检测可能...
创建DataV大屏（模板篇）
说明 您也可以通过宜搭首页 我的应用 页签下 创建空白应用，也可以查看和编辑已有的应用。在 页面管理 页面，单击 新建大屏。在 新建大屏 对话框中，输入 页面名称，同时您也可以 选择分组，并单击 确定。在 模板列表 中，选择一个大屏模板...
数据总线
基于以上逻辑，为了实现应用的数据集成能力，分别需要执行相应的应用声明、应用开发、应用集成。2.应用声明 应用的声明是指应用在上架到市场时，由应用开发者自行声明的，包含两部分声明内容：应用涉及到的数据模型；以及对这些模型所做的...
创建DataV大屏（空白画布篇）
说明 您也可以通过宜搭首页 我的应用 页签下 创建空白应用，也可以查看和编辑已有的应用。在 页面管理 页面，单击 新建大屏。在 新建大屏 对话框中，输入 页面名称，同时您也可以 选择分组，并单击 确定。在 模板列表 页面中，单击下方的 ...
常见问题概述
本章节汇总了使用ARMS应用监控时的常见问题。...什么是不推荐版本的探针？如何自定义探针日志目录？其他问题 为什么调用链丢失？为什么没有调用数的指标统计？如何为应用更名？使用OpenFeign组件的应用在ARMS中数据不完整怎么办？
应用场景
可以将访问频度非常高的数据存储在云数据库 Memcache 版中，底层数据存储在 RDS 中。大型促销类业务 大型促销秒杀系统，系统整体访问压力非常大。一般的数据库根本无法承载这样的读取压力，可选用云数据库 Memcache 版存储。带有计数器的...
计费相关配置问题
本文梳理了常见的应用监控计费问题，帮助您更准确地理解计费规则。同一应用安装于多台电脑上如何计费？开通应用监控基础版后，可以看到哪些数据，是一直免费的吗？如何调整应用监控数据存储周期？如何调整调用链采样率？开通应用监控专家版...
产品概述
产品特点 稳定 对于绝大部分应用而言，关系型数据库所承担的职责是整个数据管理系统中最为核心和基础的，不光直接影响到终端用户的服务体验，同时也是业务数据的最后一道保险，所以稳定性是数据库最核心的选型因素。PolarDB-X 1.0 的稳定性...
入门概览
操作流程 从创建Lindorm实例到Lindorm时序引擎的应用开发，您需要完成以下操作：创建Lindorm实例，创建时选择数据引擎为时序引擎，具体操作请参见 创建实例。设置白名单，具体操作请参见 设置白名单。（推荐）开启用户认证与权限校验，具体...
应用场景
本文将以部门场景和技术领域场景为例，为您介绍实时计算Flink版的大数据是实时化场景。说明 更多场景案例请参见 阿里云实时计算Flink版产品案例和解决方案汇总。背景信息 作为流式计算引擎，Flink可以广泛应用于实时数据处理领域，例如ECS...
上游应用
对于某个应用而言，上游应用是指向该应用发送数据的应用。本文说明如何查看上游应用情况，包括响应时间、请求数、错误数等信息。前提条件 接入应用监控 功能入口 登录 ARMS控制台，在左侧导航栏选择 应用监控>应用列表。在 应用列表 页面...
数据资产等级定义
例如，一个A2等级的数据应用产品对应的导出表Table1、Table2、Table3，几个表都打上 A2-xxx 数据产品标记。根据血缘往上追溯，将这几个表的上游都打上A2的标记，一直标记到源数据业务系统，如图所示。icmsDocProps={'productMethod':'...
数据资产定级
数据的资产等级，可以根据数据质量不满足完整性、准确性、一致性、及时性对业务的影响程度进行划分。数据等级定义如下：毁灭性质：数据一旦出错，将会引起重大资产损失，面临重大收益损失等。标记为A1。全局性质：数据直接或间接用于企业级...
云产品集成
什么是数据管理DMS 支持的数据库类型与功能 云数据库录入 DataV 数据可视化 DataV 数据可视化是使用可视化应用的方式来分析并展示庞杂数据的阿里云产品。您可以使用 DataV 添加 OceanBase for MySQL 数据源，通过图形化的界面处理 ...
数据资产定级
数据的资产等级，可以根据数据质量不满足完整性、准确性、一致性、及时性对业务的影响程度进行划分。数据等级定义如下：毁灭性质：数据一旦出错，将会引起重大资产损失，面临重大收益损失等。标记为A1。全局性质：数据直接或间接用于企业级...
应用评估
迁移分组评估结果 迁移分组是迁移数据库包含的应用的最小子集，迁移单个应用分组不会对其他分组的数据库节点产生数据依赖。迁移分组包括 应用节点 以及 数据库节点。单击应用节点可以查看单个应用节点的评估改造内容。单应用评估主要分为...
上游应用
对于某个应用而言，上游应用是指向该应用发送数据的应用。本文说明如何查看上游应用情况，包括响应时间、请求数、错误数等信息。功能入口 登录 EDAS控制台。在左侧导航栏，单击 应用管理>应用列表。在 应用列表 页面顶部菜单栏选择地域，在...
应用场景
云数据库Redis版 适用于多种场景，尤其是请求并发量大场景中的数据存储。游戏行业应用 游戏行业通常将云数据库Redis版作为重要的部署架构组件，用于缓存或数据持久化。场景一：Redis作为缓存加速应用访问 Redis作为缓存层，加速应用访问。...
上游应用
对于某个应用而言，上游应用是指向该应用发送数据的应用。本文说明如何查看上游应用情况，包括响应时间、请求数、错误数等信息。应用限制 EDAS标准版不支持查看上游应用情况，专业版和铂金版支持查看上游应用情况。功能入口 登录 EDAS控制...
概述
Flink（VVR）完全兼容开源Flink，相关内容请参见如下文档：DataStream API Table API&SQL Python API 使用场景 Flink广泛应用于大数据实时化的场景，本文从技术领域和企业应用场景进行介绍。技术领域 从技术领域的角度，Flink主要用于以下...
应用场景
数据审计 智能解析数据库及大数据的通信流量，细粒度审计数据访问行为，通过对数据源全量行为的审计溯源、危险攻击的实时告警、风险语句的智能预警，为您最敏感的数据库资产做好最安全的监控保障。个人信息合规 可精准区分和保护个人数据，...
划分数据域
数据仓库是面向主题（数据综合、归类并进行分析利用的抽象）的应用。数据仓库模型设计除横向的分层外，通常也需要根据业务情况进行纵向划分数据域。数据域是联系较为紧密的数据主题的集合，是业务对象高度概括的概念层次归类，目的是便于...
应用场景
大数据场景 云数据库HBase支持海量全量数据的低成本存储、快速批量导入和实时访问，具备高效的增量及全量数据通道，可轻松与Spark、MaxCompute等大数据平台集成，完成数据的大规模离线分析。优势如下：低成本：高压缩比，数据冷热分离，...
操作说明
用户体验监控 Web&H5监控详情 小程序监控详情 接入移动应用 数据探索 应用设置 其他更多操作请参见 什么是用户体验监控。可观测监控 Prometheus 版 通过接入中心接入数据 默认服务发现 查询指标并为Grafana配置数据源 管理Prometheus实例 ...
Napatech案例
在网络和安全性应用领域率先使用基于FPGA的技术，通过FPGA可重构计算平台，向电信、金融行业客户及互联网公司提供网络管理和安全应用数据交付解决方案。业务挑战 随着网络数据流量的爆增以及业务可用性要求的不断提升，Napatech公司的用户...
导出应用
应用信息 当前导入、导出应用数据时，包含的应用信息如下所示：应用名、应用描述信息、应用所处集群信息、应用实例数 应用程序包、应用镜像 CPU、内存请求与限制值 启动命令、启动参数、环境变量配置 就绪探针、存活探针、启动后脚本、停止...
客户案例
MaxCompute已被广泛应用于各大领域处理云上大数据，帮助众多企业解决了海量数据分析问题，同时降低企业运维成本，企业人员可更专注于业务开发。本文为您介绍MaxCompute的精选客户案例。MaxCompute的全量客户案例信息，请参见 行业客户案例...
基本概念
DTS 数据传输服务（Data Transmission Service，简称DTS）支持关系型数据库（RDBMS）、非关系型数据库（NoSQL）、数据多维分析（OLAP）等数据源间的数据交互，集数据同步、迁移、订阅、集成、加工于一体，帮助您构建安全、可扩展、高可用的...
- 产品推荐
- 这些文档可能帮助您