Infer News

LLM Analytics 可視化用量監察工具

GitHub – labmlai/inspectus: LLM Analytics
法學碩士分析。透過在 GitHub 上建立帳戶來為 labmlai/inspectus 開發做出貢獻。

Inspectus 是一款適用於大型語言模型的多功能視覺化工具。它透過易於使用的 Python API 在 Jupyter 中流暢運行。 Inspectus 提供多種視圖，提供語言模型行為的不同見解。

Categories: 工具

whisper.cpp v.1.6.2 源碼: Speech To Text 輕量級模型

輕量級的模型實現可以輕鬆地將其整合到不同的平台和應用程式中
可以在非常短時間內將音訊轉錄為文字…
如何在 Mac 上安裝 Whisper，一款令人驚嘆的 OpenAI 語音轉文字辨識系統

進楷優化

更快、更小的 Whisper：深入研究量化和 Torch 編譯
本文透過批次加速，增強基於 PyTorch 的 Whisper 模型性能。透過利用透過轉換器、實現靜態快取以及利用torch.compile，顯著加快模型的推理速度。此外，使用HQQ將 Whisper 模型量化為 4 位，以最小的降級保持轉錄質量，正如字錯誤率 (WER) 基準評估的那樣。

微調前後

Categories: 工具

Llama中文社區，所有代碼更新適配Llama3

GitHub – LlamaFamily/Llama-Chinese: Llama中文社區
Llama中文社區，Llama3在線體驗和微調模型已開放，實時匯總最新Llama3學習資料，已將所有代碼更新適配Llama3，構建最好的中文Llama大模型，完全開源可商用
Categories: 模型

Emotion_onnx – 實時情緒辨識模型

(英)GitHub – Emotion_onnx: Emotion Recognition using ONNX Runtime
Emotion Recognition using ONNX Runtime. Contribute to Shohruh72/Emotion_onnx development by creating an account on GitHub.

ONNX 相信人工智慧工具社群需要更好的互通性，但開發人員往往被鎖定在一個框架或生態系統中。 ONNX 是透過允許更多這些工具共享模型來實現協同工作的第一步。

ONNX 目標是讓開發人員能夠為他們的專案使用正確的工具組合。我們希望每個人都能夠盡快將人工智慧從研究變為現實，而不會受到工具鏈的影嚮。ONNX 希望您能加入我們的行列！

Categories: 工具

Elia – 用於與 LLM 互動的開源終端 UI

(英)這是一種更簡單、更精簡的方式來使用他們喜歡的語言模型。
使用大型語言模型的人通常需要一種快速有效的方式來與這些強大的工具互動。然而，許多現有方法需要在應用程式之間切換或處理緩慢、繁瑣的介面。基於 Web 的介面很常見，但速度可能很慢，並且可能不支援使用者所需的所有模型。此外，某些應用程式過於複雜，需要進行大量設定和配置才能有效使用。
Categories: 工具

Verba: 超簡易本機 RAG chatbot

(英) 結合Llama3 做百分百的本機 RAG
Retrieval Augmented Generation (RAG) chatbot powered by Weaviate – weaviate/Verba

Golden RAGtriever 是一款開源應用程序，旨在為開箱即用的檢索增強生成 (RAG) 提供端到端、簡化且用戶友好的介面。只需幾個簡單的步驟，即可在本地透過 HuggingFace 和 Ollama 或透過 OpenAI、Cohere 和 Google 等 LLM 供應商探索您的資料集並輕鬆提取見解。

Open Source RAG running LLMs locally with Ollama
Verba: This Easy-to-Install RAG Chatbot is better than ChatGPT (works w/ Ollama, OpenAI, Gemini)
Categories: 工具, 教學
Page 4 of 6
1 2 3 4 5 6