非常幸运参加了今年 W3C 举办的 Web 技术交流大会。
这次的主题是:Web 进化论 - 2024 年度大会:机器学习、WebGPU、媒体技术。
去年刚好在博客翻译了 François Daoust 的文章,今年刚好就见到了,而且我还提了问题被回答了,会后还合影了,真的还蛮幸运的。

后面还加了 nihui 的好友,之前还在腾讯的时候就一直慕名,这次居然见面到了。

会议信息:
https://www.w3.org/2024/01/webevolve-series-events/media/zh.index.html
François Daoust (W3C)
PPT:https://www.w3.org/2024/01/webevolve-series-events/media/slides/francois-daoust.pdf
如果有兴趣的话非常推荐作者在 2023 年的这篇文章:https://webrtchacks.com/video-frame-processing-on-the-web-webassembly-webgpu-webgl-webcodecs-webnn-and-webtransport/
媒体分发


未来技术趋势
更接近 hardware 的底层技术
- WebAssembly - native CPU
- WebGPU - GPUs
- WebCodecs - encoders decoders
- WebNN - GPUs / NPUs / TPUs
- WebXR - Headsets
- WebRTC / WebTransport - raw network access
WebCodecs
WebCodecs 提供调用浏览器底层编解码能力,可精细控制编解码过程和数据
刘俊(Bilibili):
陈成(字节):
高纯(声网):
夹带私货分享一下自己 2022 年写的简单点的应用场景: GitHub
WebGPU & WebAI
Transformers.js 的 Demo
基于 WebGPU 的 LLM
https://webllm.mlc.ai/
Enabled Llama3 WebGPU on the day 0 when it was released on Apr 19, 2024
Gemini Nano
Gemini Nano 支持手机运行
谷歌原本就有 TensorFlow.js / ONNX Runtime / MediaPipe
WebGPU 中的 16 位浮点值等改进,使其在更广泛的硬件上运行得更快。
- TensorFlow.js CPU Backend, pure-JS backend for Node.js and the browser.
- TensorFlow.js WebGL Backend, WebGL backend for the browser.
- TensorFlow.js WASM Backend, WebAssembly backend for the browser.
- TensorFlow.js WebGPU, WebGPU backend for the browser.
WebNN 的现状分享
Ningxin Hu(Intel)
示例体验
可以访问 https://microsoft.github.io/webnn-developer-preview/ 体验 WebGPU 运行的 stable diffusion 和 whisper
Samples: https://webmachinelearning.github.io/webnn-samples/
ncnn
nihui(腾讯)
支持的平台非常多:除了常规的操作系统和浏览器,还支持Switch,小程序,OpenWrt,Apple Watch 等
可在浏览器和微信小程序中使用的人脸识别算法:https://github.com/ShirasawaSama/retinaface-wasm
安全摄像头
张武(IIFAA)
PPT: https://www.w3.org/2024/01/webevolve-series-events/media/slides/zhang-wu.pdf