Clips
Selezione di clip on-device: trasforma una lunga registrazione in short e momenti salienti ordinati, da una trascrizione, su iPhone o Mac.
Crea video brevi e clip dei momenti salienti.
Da una registrazione di 25 minuti, Clips ordina 12 clip in 9 s su un iPhone 17 Pro. Crea una selezione ordinata di clip da condividere all'istante.
Clips analizza una trascrizione per trovare i momenti e le storie migliori, e restituisce un elenco ordinato di clip. Usa la selezione ordinata per creare montaggi dei momenti salienti o un video riassuntivo. Costruisci il tuo motore di clipping o il tuo auto-edit, senza costo di inferenza.
Non viene caricato nulla, quindi creare clip da un intero catalogo costa quanto crearle da un solo video. Non c'è limite di durata né dimensione massima del contesto. Usa Clips su video brevi o file audio per avere un riassunto in pochi secondi, o macina registrazioni di un'ora senza limiti.
25 minuti di video, tagliati in 9 s.
Clips ordina una trascrizione di 404 frasi e 25 minuti in 12 clip in 9,19 s su un iPhone 17 Pro, sul dispositivo.
Misurato sul dispositivo, fissato su CPU e Neural Engine
| Trascrizione | iPhone 17 Pro | iPhone 15 Pro |
|---|---|---|
| 25-minute video, 12 clips | 9,19 s | 10,22 s |
| Per candidate, encoder only | 2,78 ms | 3,13 ms |
Misurazioni interne sulla build Core ML distribuita. I bordi delle clip sono il punto debole noto, e la selezione vicino a un momento è sensibile a piccole variazioni di punteggio, quindi un runtime o una quantizzazione diversi restituiscono un insieme diverso ma comparabile.
Casi d'uso
Crea video brevi e clip dei momenti salienti.
Short da un episodio di podcast
Pubblica i cinque momenti migliori di un episodio di un'ora come short, ordinati, prima che l'esportazione finisca, in pochi secondi direttamente sul dispositivo.
Auto-edit di una ripresa lunga
Trasforma una ripresa dispersiva di 25 minuti in un montaggio asciutto in un editor video. Ottieni un montaggio dei momenti salienti con gli spunti più importanti di un video, pronto da rivedere o pubblicare.
Crea clip dall'intero catalogo
Fai passare una libreria di talk o dirette registrate attraverso Clips su un Mac durante la notte. Non viene caricato nulla e non si paga per video, quindi mille video costano quanto uno.
Momenti salienti in cento lingue
Un'app per creator distribuita in spagnolo, portoghese e tedesco ottiene la stessa selezione di clip in tutte e tre: un solo modello copre cento lingue, dalla trascrizione, sul dispositivo.
Ispirazione
Idee da costruire con Clips. Copia un prompt nel tuo coding agent e parti.
Turn any recording into a ranked set of shorts.
Generate a highlight reel from a long stream or talk.
Produce a rough auto-edit from a rambling take.
Clip a whole back catalog of videos overnight on a Mac.
Build a full podcast studio: transcribe, clip, and title on the device.
Record, clean, transcribe, and clip: a whole creator pipeline, offline.
Turn a webinar into teaser clips for social.
Build a fully local clipping engine: transcribe, clip, title, caption.
Cosa fa il modello
- Ordina i migliori momenti non sovrapposti di una trascrizione: ogni clip riceve un punteggio ed è ordinata. Costruisci selezioni solide o funzioni di montaggio uniche per scegliere le frasi migliori in registrazioni video o audio.
- Controlla la selezione. Imposta la soglia sul
percentile, non sul punteggio grezzo: un taglio a 0,8 dà in media 5 clip che coprono il 17% del video (momenti salienti), un taglio a 0,3 dà in media 32 clip che coprono il 74% (auto-edit). - Nessuna finestra di contesto: le frasi passano nel selettore a lotti e ogni candidato è valutato da solo, quindi non c'è un limite di contesto da aggirare. Crea clip da lunghe trascrizioni video o audio senza problemi.
- Più veloce, migliore, più economico. Una trascrizione di 404 frasi e 25 minuti restituisce 12 clip in 9,19 s su un iPhone 17 Pro e 10,22 s su un iPhone 15 Pro; 2,78 ms per candidato sul solo encoder.
- Supporto multilingue. 100 lingue in un unico pacchetto Core ML int8 da 284 MB su Apple.
- Abbina Clips al nostro modello Title per generare titoli e descrizioni e costruire un motore di clipping completamente locale, che gira interamente in locale.
App di esempio
Clipper
Costruito con Voz, Clips, Title
Generate short clips from a video podcast or a long recording, fully on device. A macOS app and a command-line tool over the same core.
Voz transcribes with a time on every word, Clips ranks the best spans, and Title writes a title and description for each.
macOS 26 or later, Apple Silicon
brew tap desert-ant-labs/tap
brew install --cask clipperPer iniziare
Aggiungi selezione delle clip alla tua app iOS or macOS in poche righe di codice. Documentazione di Clips.
// Swift Package Manager
.package(url: "https://github.com/Desert-Ant-Labs/desert-ant-core.git", from: "3.5.0")
// target dependency
.product(name: "Clips", package: "desert-ant-core")import Clips
let clips = Clips()
let moments = try await clips.clips(in: sentences) // [Clip], best first
for clip in moments {
print(clip.text, clip.start, clip.end, clip.percentile)
}Add Clips from Desert Ant Labs to this Swift project (iOS, macOS). What it does: short e momenti salienti da qualsiasi registrazione, on-device. SDK: Swift (iOS, macOS) Repo: https://github.com/Desert-Ant-Labs/desert-ant-core#readme // Swift Package Manager .package(url: "https://github.com/Desert-Ant-Labs/desert-ant-core.git", from: "3.5.0") // target dependency .product(name: "Clips", package: "desert-ant-core") Reference: - Model page: https://desertant.com/models/clips/ - Full catalog and other models: https://desertant.com/llms.txt Add the SDK, then follow its README for the exact API and current version. Do not invent API names or method signatures; confirm them against the README.
Specifiche
- Velocità
- Una trascrizione di 25 minuti in 9,19 s su un iPhone 17 Pro, 10,22 s su un iPhone 15 Pro
- Dimensione sul dispositivo
- 284 MB Core ML int8 (Apple); due file LiteRT da 283 MB per Android, Linux e Windows
- Lingue
- 100
- Modello
- Quattro teste: salienza, inizio, fine e punteggio della clip
- Piattaforme
- iOS 18, macOS 15, tvOS 18, visionOS 2 (Core ML). I file LiteRT per Android, Linux e Windows sono pubblicati ma non ancora supportati nel nostro SDK.
I bordi delle clip sono il punto debole. Una clip può aprirsi su un pronome il cui riferimento era nella frase precedente, fondere due temi, tagliare prima della battuta finale o inghiottire la lettura di uno sponsor.
I video brevi restituiscono poche clip, una trascrizione sotto le tre frasi non ne restituisce nessuna, e il limite di clip è un tetto, non una quota. Le scritture non latine sono poco testate, e i file per Linux e Windows non sono ancora supportati nel nostro SDK.
FAQ
Cos'è Clips?
Selezione di clip on-device: trasforma una lunga registrazione in short e momenti salienti ordinati, da una trascrizione, su iPhone o Mac.
Clips funziona sul dispositivo?
Sì. Clips funziona sul dispositivo, senza chiamate a un server, quindi i dati restano con l'utente.
Quali piattaforme supporta Clips?
Clips è distribuito come SDK nativo on-device per Swift.
Quanto costa Clips?
Ogni modello è gratuito fino a 100k dispositivi attivi mensili. L'inferenza è illimitata. Contattaci per licenze personalizzate.
Quanto è preciso o veloce Clips?
Clips ordina una trascrizione di 404 frasi e 25 minuti in 12 clip in 9,19 s su un iPhone 17 Pro, sul dispositivo.