Netflix 正式納入 AI 製作流程:300 部作品已使用生成式AI

Og image

Netflix 在這段影片裡拋出的訊號很直接:生成式 AI 已經進入它的製作流程,而且不是少量試水溫。今年大約有 300 部作品用到這類工具,範圍由概念發想、前期視覺化到後期製作都涵蓋在內。這代表影視團隊處理畫面與內容時,開始把 AI 當成日常工具,而不只是額外加上的噱頭。

它最值得留意的地方,在於改變了內容製作的分工方式。傳統流程裡,很多視覺探索和素材整理都要靠人手反覆試,時間和成本都不輕;AI 介入後,團隊可以更快做出草稿、比較方向,再把資源集中在真正要打磨的部分。

  • 生成式 AI 已進入 Netflix 的實際製作流程
  • 應用範圍不只一個環節,而是橫跨前期與後期
  • 主要價值是加快探索速度,減少重複勞動
  • 反映串流內容工業化製作正進一步自動化
  • 對內容團隊、後期製作和視覺開發最有參考價值

這種做法和單純把 AI 當展示工具不同,重點在於它已經被放進正式工作流,變成可持續使用的製作手段。對做影像、廣告、預告片或大量內容開發的人來說,這類變化會直接影響交付速度、試錯成本和團隊分工。

項目主頁

Categories: Video, AI productions

Film space:用 iPhone 走出 AI 鏡頭路徑

Film space

拍 AI 風格化影片時,最難控制的往往唔係畫風,而係鏡頭點樣郁、人物點樣企。Film space 把呢個問題拆得幾務實:它屬於 3D 預演工具,用 iPhone ARKit 把你真實行走時的裝置移動,轉成可錄製的虛擬鏡頭路徑,之後再交畀 Seedance 2.0 呢類工具做 AI style transfer 參考。

它的定位唔係直接生成影片,也唔係完整剪接系統,而係補上 AI video workflow 入面最易失真的一段:先用虛擬 studio 做 blocking,再用手機走一次鏡頭。相比純文字提示詞或者只靠模型自己猜運鏡,Film space 換來的是更清楚的鏡頭方向感;代價是你需要親身拿住 iPhone 進行錄製,而且目前明顯偏向單機、裝置端流程。

部署方式:整個流程在裝置上完成,建議橫向畫面使用,錄好的片段會存入相簿,再帶去後續生成工具。場景編排包括棋盤地板、格線、座標軸,亦可加入 human stand-ins 來模擬人物站位;去到 Camera mode,手機的移動、轉向與傾斜會直接變成鏡頭運動,配合 35mm、50mm、75mm、200mm 焦段預覽,對做分鏡、音樂錄像、短片測鏡頭的人尤其有幫助。

  • blocking、走位同運鏡參考集中在同一個 iPhone 流程處理
  • 重點唔在生成畫面,而在為 Seedance 2.0 等模型提供更穩定的鏡頭參考
  • 以 ARKit 驅動 Camera mode,保留真人手持鏡頭的節奏感
  • 有基本 lens simulation 同 stand-ins,足夠做前期預演,但未見到進階場景製作能力

效能數據同正式 benchmark 目前未有公開,因此較難量化追蹤精度或錄製穩定性;現有資訊較能確認的是工作流設計,而唔係模型級指標。Film space 最適合用來做前期測試、概念驗證同低成本鏡頭預演,尤其當你想保留真人運鏡感,但又準備把最終畫面交畀 AI 重新風格化,這個項目的價值就會幾明顯。

GitHub

Categories: 開源, Video, 工具, 3D, AI productions, Dataset 數據集

PixelRAG 想用截圖重寫 RAG 檢索

PixelRAG — Visual Retrieval-Augmented Generation

遇到表格、版面層次、插圖同文字混排內容,單靠文字檢索好容易漏掉關鍵線索;PixelRAG 就係衝住呢個缺口而來。它屬於一個面向 Retrieval-Augmented Generation 的開源工具項目,核心做法係先把頁面或文件渲染成 screenshots,再按畫面內容建立可搜尋索引,讓 Claude 之類模型唔只讀字,亦可以靠視覺內容搵資料。

呢個取向同傳統 RAG 最大分別,在於它假設「文件點樣呈現」本身就係訊息,而唔係只抽文字再做 embedding。代價亦好直接:前處理多咗一層 render,索引與搜尋流程會更倚賴視覺管線;但換來的好處,是面對網頁、圖文混排文件,甚至靠版面先分得清的內容時,命中機會更高。

目前公開資訊已經交代得幾清楚:安裝後可以先用 pixelshot 把任意頁面輸出成 screenshot tiles,再接上搜尋流程;亦可以直接調用官方託管 API,對既有的 8.28M Wikipedia pages 索引做查詢,連本地建庫都未必需要。它仲支援用文字查詢,並提供 visual search,意味住輸入端都唔再局限於純文字。

  • 把文件先轉成 screenshots,再做檢索,而唔係只抽文字
  • 適合網頁、表格、圖文混排等重視版面結構的內容
  • 可直接試用 hosted API,亦可自行跑 render 與 search 流程
  • 與 Claude 配合時,重點在於補足模型對畫面資訊的讀取能力

受益最大的一般會係做 RAG 應用、文件搜尋、知識助理同企業內部資料檢索的團隊,尤其手上資料唔係乾淨純文字,而係大量網頁截圖感強、排版複雜的內容。名稱已經講明「Web Screenshots Beat Text for Retrieval-Augmented Generation」,定位相當鮮明;不過 README 暫時未交代完整基準數字同部署成本,現階段更適合視為一條值得驗證的新路線,而唔係即刻取代所有文字檢索方案。

GitHub

Categories: 開源, API, Embedding, RAG, 框架

[入門教學文章]一文搞懂 CNN、RNN 與 Transformer

Og image

學深度學習最容易卡住的位置,往往不是模型太難,而是聽過 neural network、Deep Learning、CNN、RNN、Transformer,腦入面仍然分唔清邊個處理影像、邊個擅長序列、邊個適合長距離內容關係。這篇文章屬於入門教學,重點是用 mental model 幫讀者建立直覺,而不是一開始就掉出一堆數學式。

內容先把 AI(Artificial Intelligence)、ML(Machine Learning)同 Deep Learning 的層次關係講清楚,再解釋 neural networks 點樣透過多層表示學習資料特徵。文中亦提醒一個常見誤解:Deep Learning 入面的「deep」主要是指層數夠多,並不是指模型真的像人腦那樣理解世界。

之後的重點放在三類常見架構之間的差異:CNN 適合由局部特徵逐步組合出整體理解,常見於影像;RNN 會按次序處理資訊,較貼近文字或時間序列;Transformer 則更重視整段內容之間的關聯,成為近年自然語言處理與多模態模型的重要基礎。對初學者來說,這種比較方式比單獨背定義更容易入手。

  • 用直觀方式整理 Deep Learning 與 neural networks 的基本概念
  • 把 CNN、RNN、Transformer 放在同一條線上比較用途與取向
  • 強調模型強項來自資料處理方式,而不只是名稱不同
  • 文章亦提到 Keras,方便之後進一步動手建立模型

引用模型:CNN、RNN、Transformer。整體來說,這項內容適合剛接觸深度學習、想先建立整體地圖的人閱讀;有少量 Python 基礎會更易銜接到 Keras,但就算未寫過模型,也能先用它釐清觀念。

項目主頁

Categories: Python, 教學, 模型訓練, 深度學習, Dataset 數據集

NotebookLM 改名 Gemini Notebook

Og image

做研究、整理文件同準備報告時,最麻煩往往唔係搵資料,而係點樣喺一堆來源之中保持脈絡清楚。Gemini Notebook 由 NotebookLM 更名而來,定位仍然係獨立使用的筆記與研究助手,但重點放在同 Google 服務有更深整合,並加入 secure cloud computer,令資料處理方式更貼近雲端工作流。

對一般用家而言,呢次更新最直接的改變唔係功能名稱,而係使用體驗更靠近 Gemini 系列產品。你可以把它理解成原本 NotebookLM 的延伸版本:保留原有獨立產品形態,同時更容易接上 Google 生態中的內容、帳戶與服務,適合需要長時間整理知識、追蹤文件脈絡的人。

  • 由 NotebookLM 更名為 Gemini Notebook
  • 產品仍然獨立存在,唔係單純併入另一個介面
  • 與 Google 生態整合更深,協作路徑更順
  • 加入 secure cloud computer,強調雲端處理與安全性

對常用 Google 工具做學習、研究、內容整理的人來講,呢個方向比單純改名更有意思,因為它指向的是更完整的一站式知識工作流程。

項目主頁

Categories: Google, Gemini, 安全

Grok Build 開源後,編碼代理點樣運作一目了然

Og image

想追到 AI 編碼代理點樣一步步理解程式碼、決定用咩工具,再把結果送回終端,Grok Build 而家提供了一個相當直接的入口。這個由 SpaceXAI 公開的 coding agent 與 TUI,不只方便試用,還把整個運作骨架開源,重點是讓人真正查清楚代理在處理什麼、又可以改到什麼。

對開發者而言,價值不止在「可用」,而是在「可驗證」。你可以直接查看它怎樣組裝 context、解析模型回應、分派 tool calls,也可以理解它怎樣讀寫程式碼、搜尋內容與執行指令。做緊技能擴充、插件整合,或者研究 MCP servers、subagents 工作流的人,這份原始碼會比單靠文件更有參考價值。

  • 開源範圍涵蓋 agent loop、tools、terminal UI 與 extension system
  • 可研究 skills、plugins、hooks、MCP servers、subagents 的載入與呼叫方式
  • 支援 local-first 用法,可自行編譯並接上本地 inference
  • 主要透過 config.toml 控制整體執行流程

和常見只提供託管服務或有限介面的工具相比,Grok Build 把關鍵細節直接攤開。使用時不一定要綁定雲端環境,亦可以自己編譯、指向本地推理後端,令測試、除錯、客製化與安全審視都有更大空間;代價是你要自己處理部署與整合,門檻自然較高。

對需要打造自訂 coding agent、終端工作流,或研究代理工具調度方式的人來說,這次開源相當有參考價值。

項目主頁

Categories: 開源, Agentic, API, MCP, Vibe Coding, 安全, 編程, Skill 技能

AsySplat:3D 場景重建更省算力

Teaser Image

AsySplat 是一個用於 3D Gaussian Splatting 的重建框架,主力解決長序列、廣覆蓋場景做新視角合成時,訓練和推理都太重的問題。現階段這個 GitHub 儲存庫主要提供項目頁、論文連結和資源,程式碼尚未公開,所以要理解它,重點放在方法設計而不是直接安裝部署。

它的做法是把 geometry branch 和 appearance branch 分開,前者處理較粗粒度的資訊,後者用較少參數補回外觀細節,再用 bilateral connections 互相引導。這種取向和一般把所有資訊一起硬塞進去的做法不同,目標是把算力用在更值得的位置。

從現有資料看,AsySplat 比較適合做多視角場景重建、研究級新視角合成,或需要在較大輸入規模下控制訓練成本的團隊。同時使用 sparse attention module,結合 convolution blocks 和 self attention 來減少開銷,並在 32-view 960P 輸入上取得較少參數和較低訓練、推理負擔的結果。

  • 類型:3D Gaussian Splatting 重建框架
  • 目標:降低 wide-coverage scene modeling 的重複計算
  • 特色:幾何與外觀分流處理,再以 bilateral connections 協調
  • 效能:在 32-view 960P 設定下,宣稱比之前的 generalizable models 更省參數和開銷
  • 相關模型:3D Gaussian Splatting、generalizable 3DGS models、novel view synthesis (NVS)

項目主頁 · GitHub

Categories: 開源, 香港, 香港科技大學, 3D, 香港城市大學, Dataset 數據集

Kimi K3 編程實測:能否撐起複雜項目

Og image

Kimi K3 的焦點落在編程能力,而不是單純講參數規模。這次實測把它放進 Claude Code,直接看它能否應付從零開發原生 macOS 和 iOS App、2D 與 3D 遊戲,以及較複雜的前端工作流。這類測試最有價值的地方,是能看出模型在長上下文、多步驟修改和除錯時,能否保持一致性。

和一般只看跑分或簡單問答的展示相比,這種做法更接近真實使用情境。開發者在意的通常不是模型會不會背答案,而是它能否理解已有程式結構、持續追蹤修改,並在多輪互動後仍然做對決定。

這個內容特別適合以下讀者:
– 需要評估 AI 編程助手的人
– 關心 Claude Code、Kimi K3 這類模型實戰表現的人
– 想看原生 App、2D/3D 遊戲與前端生成能力差異的人
– 留意國產模型是否追上第一梯隊的人

影片同時提到 Kimi K3 的 2.8 兆參數與 100 萬 Token 上下文窗口,顯示它主打的是長文脈和複雜編碼任務。不過,真正要看的仍然是它在高難度項目裡能否穩定交付,而不是單看規格有多大。

項目主頁

Categories: 模型, 教學

VIABench 視覺模型如何協助失明應用

VIABench cover

講到視覺模型,很多測試仍然停留在「見到乜、答到乜」;VIABench 把焦點轉去更貼身的助盲情境,直接檢查多模態大型語言模型可否在日常片段中作出提醒、回答環境問題,甚至按目標提供引導。它屬於Dataset 數據集兼評測基準,處理的是視障協助場景長期缺乏貼地測試標準這個問題。

VIABench 不再只量度被動理解,而是把影片 Multimodal Large Language Models 與真實任務綁在一起。資料來自盲人錄製或分享的第一身影片,包含 761 段影片、46.9 小時內容,以及 14,526 筆人工整理標註,圍繞 Proactive Reminder、Visual Question Answering、Vision-Guided Interaction 三類任務,測試模型會否在合適時間講合適內容。

和常見視覺問答基準相比,VIABench 的分野在於它重視「協助能力」多過一般描述能力。這意味模型不單要看懂畫面,還要判斷何時提醒、如何回應環境細節,以及怎樣支援使用者完成目標;取捨是任務更接近真實世界,但評測難度也更高,單靠表面語意對齊未必夠。

  • 核心價值在於測試影片 MLLMs 能否提供可行協助,而非只做畫面解說
  • 任務覆蓋主動提醒、視覺問答、互動引導三種助盲場景
  • 數據來自真實第一身影片,場景代表性比通用影片基準更強

較適合關注無障礙 AI、assistive technology、video MLLMs 評測的研究團隊,也適合想比較不同模型在真實互動場景表現的人。現有資料已足夠理解它作為基準的定位;使用前較合理的做法,是先查閱論文與 Hugging Face 資料集頁面,再確認支援哪些相關模型與評測設定。

GitHub

Categories: 開源, Video, 多模態模型, 視覺模型, 南京大學, Dataset 數據集

statistical_self_consistency:檢查 LLM 判斷靠唔靠得住

Statistical self-consistency in language models

當你想用 Large Language Models(LLMs)去估計某個群體的收入、意見分布或問卷答案,最麻煩唔係模型有冇答,而係同一批人用不同條件拆開再合併之後,結果會唔會前後一致。statistical_self_consistency 針對的正是呢個問題:它屬於研究實驗型程式庫,用二元 conditioning tree 把人群逐層分割,向模型索取各節點估計,再用 law of total probability 重建整體分布,檢查模型輸出有幾接近真正「條件機率」應有的表現。

項目的技術重點唔係再訓練一個新模型,而係替現有 LLM 加上一套 reference-free 的自我檢查方法。它一邊比較重建後的 aggregate 與直接 marginal estimate 是否一致,一邊再用 American Community Survey(ACS)、Global Opinion QA 同 World Values Survey(WVS)的人類統計資料做 alignment 對照。呢個取向同一般只睇單題準確率或 benchmark 分數的做法唔同,因為它更關心模型輸出在統計層面有冇內在矛盾。

資料與執行方式也反映出它偏向研究用途。README 已交代實驗分佈在 src/experiments_acs/src/experiments_global_opinion_qa/src/experiments_wvs/,ACS 與 WVS 亦有對應 data loader;WVS 需要自行從官方網站下載 SPSS 檔案並放到指定資料夾,另有 secrets/secret_config.yaml 儲存 API keys。原始資料沒有提供一鍵部署、公開模型下載或產品化介面,較合理的理解是:你會用它重跑論文實驗、檢查提示設計下的估計穩定性,或者把同類方法接到自己的 LLM 評測流程。

  • 用 binary conditioning trees 檢查 LLM 估計能否在分割與聚合後保持一致
  • 涵蓋 ACS、Global Opinion QA、WVS 三類任務,包含收入估計、跨國意見題與問卷分布
  • 同時做 self-consistency checks 與 human data alignment,唔只看單次回答
  • 依賴外部資料與 API keys,較接近研究驗證流程,未見即裝即用的產品包裝

受益最大的會是做 LLM evaluation、computational social science、survey estimation 或 prompt-based inference 的研究者與團隊。它未有在目前資料中列出完整性能數字,但方法定位相當清楚:不是追求更花巧的生成能力,而是量度模型在條件推斷場景下有幾可信。相關模型名稱在現有資訊中未被具體列出,只能確認此項目面向一般 LLM 實驗,而非綁定單一模型家族。

GitHub

Categories: 開源, API, 框架, Dataset 數據集

Page 1 of 118
1 2 3 118