在大模型时代,数据成为企业进行经营决策的重要战略资源,其价值从辅助工具升级为驱动业务增长和竞争差异化的发展引擎。如何对数据进行存储和管理,实现数据资产沉淀,最大程度发挥数据价值,成为数据驱动型企业面临的课题。
在 AI 训练和推理场景中,跨模态(文本 + 代码 + 图像)千亿级参数模型的数据规模通常达到 PB 级,数据采集存储、清洗标注、特征提取等操作,要求底层支持平台具备海量存储、高性能读写以及灵活调度能力,并能实现平台内部解耦与开放,可快速集成第三方转码能力及各种 AI、安全能力,满足客户差异化需求。
作为一家致力于"数据智能"产品开发与技术服务的科创企业,上海德拓信息技术股份有限公司(以下简称德拓信息)深知基础设施的重要性,其打造的智能数据管理平台,面向海量的非结构化数据,提供包括数据存储、管理和应用的一站式解决方案,对于计算存储系统具有很高要求。经过对比后,德拓信息选择元脑服务器操作系统 KeyarchOS(简称元脑 KOS)作为其智能数据管理平台的系统底座。通过元脑 KOS 领先的一体化资源调度、智能缓存技术、细粒度的权限管理等功能,将访问权限精确到每个文件,让高频数据读取速度提升 70%,AI 任务响应时间稳定在毫秒级别。
AI 训练推理数据量达 PB 级 底层平台面临多种考验
随着社交媒体、自动驾驶、医疗影像等技术的普及,文本、图像、音视频等非结构化数据在当今数据总量中的占比达到 80%-90%。这些非结构化数据是 AI 模型训练的主要数据来源,决定了 AI 应用的精准度和有效性,而 PB 级非结构化数据因其体积大、格式杂,存在读写高延迟问题,在高并发场景下更易传输中断甚至发生损坏,造成训练阶段数据供给不足、训练效率降低。
在推理阶段,不同 AI 任务(如 OCR 识别、语音识别、图像识别等)对计算资源的需求不同,需要根据数据特征智能调度资源,并且能够快速调整资源分配,以应对突发的业务需求,避免资源不足导致推理延迟或服务中断。
AI 智能体开发过程中,需要处理的数据(如语音指令、图片等),常常包含用户的身份信息、健康数据、财务信息等个人隐私。开发环境应确保数据的最小化使用原则,保障每个模型在运行过程中只能访问其完成任务所必需的数据。
元脑 KOS 为数据管理平台打造高效、安全、灵活的系统底座
针对企业在 AI 训练推理以及智能体开发过程中存在的问题,德拓信息选择元脑 KOS 作为其智能数据管理平台的系统底座,将领先数据服务能力构建于强大资源调度基础之上,形成"底层融合、算力增效、数据智用、安全可信"四大核心优势,通过高效、可靠、智能的数据管理平台,为 AI 应用开发提供支持。
智能数据管理平台架构
■ 首先,平台融合多源异构数据,消除数据壁垒,提供从数据采集 - 数据存储 - 数据管理 - 数据治理 - 数据服务的全流程支持,打造组织非结构化数据资产。对于数据读取中的高延迟及稳定性问题,元脑 KOS 通过智能缓存策略、冷热数据自动分层机制,提升高频访问数据的读取速度 70%,优化了数据处理与存储的效率;
■ 其次,平台采用云原生和微服务框架,具备较强兼容性和扩展性,可与身份认证系统、OA 系统、网站、合同管理系统、档案系统等各种业务系统实现对接。对于不同业务带来的资源需求变化,元脑 KOS 构建"弹性算力 + 智能调度"体系,当实际业务变动时快速动态分配资源,使得 AI 组件实现秒级扩容,通过智能算力编排技术,平台实时感知业务需求和资源状态,将 AI 任务的响应时间稳定在毫秒级别;
■ 最后,平台可私有化部署在组织内部,有效避免信息外泄,支持网域和白名单安全设置、登录鉴权、资源库权限控制、分享安全管控等多种安全举措。基于元脑 KOS 密码算法的硬件加速技术,实现数据从采集、存储到传输的全流程加密,加密效率达到工业级标准,满足安全性与实时性需求。元脑 KOS 还提供细粒度权限控制能力,允许系统管理员对数据访问权限进行极其细致的管理,精确到每个资源库、每个目录及每个文件,确保敏感信息仅限授权访问。
日前,智能数据管理平台已成功应用于媒体、教育及车企行业。以某头部车企为例,在跨地域研发场景中,平台对底层异构硬件进行了统一管理与调度,实现异构数据的跨平台稳定传输与协同管理,数据同步效率提升超 50%;在车辆质检场景中,平台高效支持了海量图像的实时分析与工艺文档的语义理解,大幅提升质检效率与工艺优化速度;在研发中心实践中,平台能够高效应对 PB 级数据并行处理需求,显著提升大文件批量传输效率。
未来,浪潮信息与德拓信息将持续深化合作,以"底层技术创新 + 行业场景落地"双轮驱动,助力行业实现数据价值全面释放。
富成配资-富成配资官网-炒股配资平台官网-配资平台炒股提示:文章来自网络,不代表本站观点。