Clips
En snabb modell för klippval som gör en lång inspelning till rangordnade shorts och höjdpunkter, från ett transkript. Körs på enheten på iPhone eller Mac.
Skapa korta videor och höjdpunktsklipp.
Från en 25 minuter lång inspelning rangordnar Clips 12 klipp på 9 s på en iPhone 17 Pro. Skapa ett rangordnat urval av klipp att dela direkt.
Clips analyserar ett transkript för att hitta de bästa ögonblicken och berättelserna, och returnerar en rangordnad lista med klipp. Använd det rangordnade urvalet för att skapa höjdpunktsrullar eller en sammanfattningsvideo. Bygg din egen klippmotor eller autoredigering, utan inferenskostnad.
Inget laddas upp, så att klippa en backkatalog kostar lika mycket som att klippa en enda video. Det finns ingen längdgräns eller maximal kontextstorlek. Använd Clips på korta videor eller ljudfiler för att få en sammanfattning på några sekunder, eller mala igenom timslånga inspelningar utan begränsningar.
25 minuter video, klippt på 9 s.
Clips rangordnar ett transkript på 404 meningar och 25 minuter till 12 klipp på 9,19 s på en iPhone 17 Pro, på enheten.
Uppmätt på enheten, fäst till CPU och Neural Engine
| Transkript | iPhone 17 Pro | iPhone 15 Pro |
|---|---|---|
| 25-minute video, 12 clips | 9,19s | 10,22s |
| Per candidate, encoder only | 2,78ms | 3,13ms |
Interna mätningar på det levererade Core ML-bygget. Klippens kanter är den kända svaga punkten, och urvalet nära ett ögonblick är känsligt för små poängändringar, så en annan runtime eller kvantisering returnerar en annan men jämförbar uppsättning.
Användningsfall
Skapa korta videor och höjdpunktsklipp.
Shorts från ett poddavsnitt
Publicera de fem bästa ögonblicken från ett timslångt avsnitt som shorts, rangordnade, innan exporten är klar, på bara några sekunder direkt på enheten.
Autoredigera en lång tagning
Gör en rörig 25-minuterstagning till en stram klippning i en videoredigerare. Få en höjdpunktsrulle med de viktigaste insikterna från en video, redo att granska eller publicera.
Klipp backkatalogen
Kör ett bibliotek av inspelade föredrag eller strömmar genom Clips på en Mac över natten. Inget laddas upp och inget faktureras per video, så tusen videor kostar lika mycket som en.
Höjdpunkter på hundra språk
En kreatörsapp som lanseras på spanska, portugisiska och tyska får samma klippval på alla tre: en modell täcker hundra språk, från transkriptet, på enheten.
Inspiration
Idéer att bygga med Clips. Kopiera en prompt till din kodningsagent och kör.
Turn any recording into a ranked set of shorts.
Generate a highlight reel from a long stream or talk.
Produce a rough auto-edit from a rambling take.
Clip a whole back catalog of videos overnight on a Mac.
Build a full podcast studio: transcribe, clip, and title on the device.
Record, clean, transcribe, and clip: a whole creator pipeline, offline.
Turn a webinar into teaser clips for social.
Build a fully local clipping engine: transcribe, clip, title, caption.
Vad modellen gör
- Rangordnar ett transkripts bästa icke-överlappande ögonblick: varje klipp poängsätts och rangordnas. Bygg starka urval eller unika redigeringsfunktioner för att välja de bästa meningarna i video- eller ljudinspelningar.
- Styr urvalet. Tröskla på
percentile, inte den råa poängen: en gräns på 0,8 ger i snitt 5 klipp som täcker 17% av videon (höjdpunkter), en gräns på 0,3 ger i snitt 32 klipp som täcker 74% (autoredigering). - Inget kontextfönster: meningar körs genom väljaren i batchar och varje kandidat poängsätts för sig, så det finns ingen kontextgräns att arbeta runt. Skapa klipp från långa video- eller ljudtranskript utan problem.
- Snabbare, bättre, billigare. Ett transkript på 404 meningar och 25 minuter returnerar 12 klipp på 9,19 s på en iPhone 17 Pro och 10,22 s på en iPhone 15 Pro; 2,78 ms per kandidat enbart på encodern.
- Stöd för flera språk. 100 språk i ett enda int8 Core ML-paket om 284 MB på Apple.
- Kombinera Clips med vår Title-modell för att skapa titlar och beskrivningar och bygga en helt lokal klippmotor, som körs helt lokalt.
Exempelapp
Clipper
Byggd med Voz, Clips, Title
Generate short clips from a video podcast or a long recording, fully on device. A macOS app and a command-line tool over the same core.
Voz transcribes with a time on every word, Clips ranks the best spans, and Title writes a title and description for each.
macOS 26 or later, Apple Silicon
brew tap desert-ant-labs/tap
brew install --cask clipperKom igång
Lägg till val av klipp i din iOS or macOS-app med några rader kod. Clips-dokumentation.
// Swift Package Manager
.package(url: "https://github.com/Desert-Ant-Labs/desert-ant-core.git", from: "3.5.0")
// target dependency
.product(name: "Clips", package: "desert-ant-core")import Clips
let clips = Clips()
let moments = try await clips.clips(in: sentences) // [Clip], best first
for clip in moments {
print(clip.text, clip.start, clip.end, clip.percentile)
}Add Clips from Desert Ant Labs to this Swift project (iOS, macOS). What it does: Shorts och höjdpunkter från vilken inspelning som helst, på enheten. SDK: Swift (iOS, macOS) Repo: https://github.com/Desert-Ant-Labs/desert-ant-core#readme // Swift Package Manager .package(url: "https://github.com/Desert-Ant-Labs/desert-ant-core.git", from: "3.5.0") // target dependency .product(name: "Clips", package: "desert-ant-core") Reference: - Model page: https://desertant.com/models/clips/ - Full catalog and other models: https://desertant.com/llms.txt Add the SDK, then follow its README for the exact API and current version. Do not invent API names or method signatures; confirm them against the README.
Specifikationer
- Hastighet
- Ett 25-minuterstranskript på 9,19 s på en iPhone 17 Pro, 10,22 s på en iPhone 15 Pro
- Storlek på enheten
- 284 MB int8 Core ML (Apple); två LiteRT-filer på 283 MB för Android, Linux och Windows
- Språk
- 100
- Modell
- Fyra huvuden: saliens, start, slut, klippoäng
- Plattformar
- iOS 18, macOS 15, tvOS 18, visionOS 2 (Core ML). LiteRT-filer för Android, Linux och Windows är publicerade men stöds inte i vår SDK ännu.
Klippens kanter är den svaga punkten. Ett klipp kan öppna på ett pronomen vars syftning låg i meningen innan, slå ihop två ämnen, klippa före poängen eller svälja en sponsorläsning.
Korta videor ger få klipp, ett transkript under tre meningar ger inga, och klippgränsen är ett tak, inte en kvot. Skriftsystem som inte är latinska är underprövade, och Linux- och Windows-filerna stöds inte i vår SDK ännu.
Vanliga frågor
Vad är Clips?
En snabb modell för klippval som gör en lång inspelning till rangordnade shorts och höjdpunkter, från ett transkript. Körs på enheten på iPhone eller Mac.
Körs Clips lokalt på enheten?
Ja. Clips körs på enheten, utan något serveranrop, så att data stannar hos användaren.
Vilka plattformar stöder Clips?
Clips levereras som en nativ SDK på enheten för Swift.
Vad kostar Clips?
Varje modell är gratis upp till 100k månadsaktiva enheter. Inferensen är obegränsad. Kontakta oss för anpassade licenser.
Hur träffsäker eller snabb är Clips?
Clips rangordnar ett transkript på 404 meningar och 25 minuter till 12 klipp på 9,19 s på en iPhone 17 Pro, på enheten.