W3C 的 2024 年度大会 参会记录

W3C 的 2024 年度大会 参会记录

Tags
WebMedia
Web Dev
Published
May 31, 2024
非常幸运参加了今年 W3C 举办的 Web 技术交流大会。
这次的主题是:Web 进化论 - 2024 年度大会:机器学习、WebGPU、媒体技术。
 
去年刚好在博客翻译了 François Daoust 的文章,今年刚好就见到了,而且我还提了问题被回答了,会后还合影了,真的还蛮幸运的。
notion image
后面还加了 nihui 的好友,之前还在腾讯的时候就一直慕名,这次居然见面到了。
notion image

会议信息:

https://www.w3.org/2024/01/webevolve-series-events/media/zh.index.html
 
 
François Daoust (W3C)
PPT:https://www.w3.org/2024/01/webevolve-series-events/media/slides/francois-daoust.pdf
如果有兴趣的话非常推荐作者在 2023 年的这篇文章:https://webrtchacks.com/video-frame-processing-on-the-web-webassembly-webgpu-webgl-webcodecs-webnn-and-webtransport/

媒体分发

过去
过去
未来
未来

未来技术趋势

更接近 hardware 的底层技术
  • WebAssembly - native CPU
  • WebGPU - GPUs
  • WebCodecs - encoders decoders
  • WebNN - GPUs / NPUs / TPUs
  • WebXR - Headsets
  • WebRTC / WebTransport - raw network access

WebCodecs

WebCodecs 提供调用浏览器底层编解码能力,可精细控制编解码过程和数据
刘俊(Bilibili):
陈成(字节):
高纯(声网)
夹带私货分享一下自己 2022 年写的简单点的应用场景: GitHub

WebGPU & WebAI

Transformers.js 的 Demo

基于 WebGPU 的 LLM

https://webllm.mlc.ai/
Enabled Llama3 WebGPU on the day 0 when it was released on Apr 19, 2024

Gemini Nano

Gemini Nano 支持手机运行

Google

谷歌原本就有 TensorFlow.js / ONNX Runtime / MediaPipe
WebGPU 中的 16 位浮点值等改进,使其在更广泛的硬件上运行得更快。

WebNN 的现状分享

Ningxin Hu(Intel)
notion image

示例体验

可以访问 https://microsoft.github.io/webnn-developer-preview/ 体验 WebGPU 运行的 stable diffusion 和 whisper
Samples: https://webmachinelearning.github.io/webnn-samples/

ncnn

nihui(腾讯)
notion image
支持的平台非常多:除了常规的操作系统和浏览器,还支持Switch,小程序,OpenWrt,Apple Watch 等
可在浏览器和微信小程序中使用的人脸识别算法:https://github.com/ShirasawaSama/retinaface-wasm

安全摄像头

张武(IIFAA)
PPT: https://www.w3.org/2024/01/webevolve-series-events/media/slides/zhang-wu.pdf
notion image
notion image