火天使导航· 文章中心
大数据

Flink实时计算新版本:AI多模态处理成核心

2026-08-19关键词:Flink返回文章中心
文章目录

一、Flink 2026年8月新版本发布

2026年8月12日,阿里云实时计算Apache Flink版发布公测预览版本VVR 11.9.0.preview.1。该版本聚焦AI多模态实时处理能力,进一步打通视频流接入、视频内容理解、DataFrame API和模型复用链路,同时扩展了Paimon Blob数据读取和FETCH_CONTENT函数的容错能力,为多模态数据处理与复杂内容采集场景提供更完整的预览体验。

二、PyFlink DataFrame API持续演进

新版本显著提升了Python用户的多模态数据处理与AI应用开发体验:支持Arrow可变长度张量,Arrow UDF新增自定义变长张量支持,并提供内置方法将变长张量转换为Numpy ndarray,增强UDF表达能力;支持上传requirements.txt声明Python依赖,通过配置python.requirements运行参数自动安装依赖,简化Python依赖管理;支持使用原生Python类定义UDF,@udf装饰器可与普通Python可调用类搭配使用,在init和call中定义初始化和执行逻辑;支持在map与map_batches中使用异步UDF,轻松用异步逻辑转换整行数据。

三、AI函数与模型调用能力增强

AI函数全面支持批量请求优化,提升模型调用吞吐量并节省Token用量。Flink CDC作业支持复用已在Flink SQL AI Models中建立的模型配置,减少重复的模型设置,提升从数据摄取到实时推理管线的用户体验一致性。这意味着流式处理与AI推理的集成门槛进一步降低,实时风控、实时内容理解等场景可以直接在Flink作业中调用大模型能力。

四、Flink在流批一体中的地位

在2026年的大数据技术版图中,Apache Flink与Apache Spark Structured Streaming已在流批一体领域形成双寡头格局,Kafka、Flink加Iceberg的组合成为实时数仓的标准技术栈。数据工程师需要同时掌握批处理和流处理两种技能,而Flink凭借原生流处理架构在低延迟场景中占据优势。

五、给使用者的建议

预览版本不纳入SLA保障,建议仅在开发、测试环境试用,待正式版本发布后再用于生产环境。对于实时AI场景,优先评估PyFlink DataFrame API的异步UDF与AI函数复用能力,让流式管道直接长出智能推理能力。

添加微信号 abc6789122 获取更多实用信息
分享:QQ空间

更多大数据文章

火天使导航 / 文章
✏️ 编辑 🗑️ 删除