Clips
Seleção de clipes no dispositivo que transforma uma gravação longa em shorts e destaques ranqueados, a partir de uma transcrição. No iPhone ou no Mac.
Crie vídeos curtos e clipes de destaque.
De uma gravação de 25 minutos, o Clips ranqueia 12 clipes em 9 s em um iPhone 17 Pro. Crie uma seleção ranqueada de clipes para compartilhar na hora.
O Clips analisa uma transcrição para achar os melhores momentos e histórias e devolve uma lista ranqueada de clipes. Use a seleção ranqueada para montar compilados de destaques ou um vídeo-resumo. Construa o seu próprio motor de clipes ou de edição automática, sem custo de inferência.
Nada é enviado, então clipar um catálogo antigo custa o mesmo que clipar um único vídeo. Não há limite de duração nem tamanho máximo de contexto. Use o Clips em vídeos curtos ou arquivos de áudio para obter um resumo em segundos, ou processe gravações de uma hora sem limitações.
25 minutos de vídeo, clipados em 9 s.
O Clips ranqueia uma transcrição de 25 minutos com 404 frases em 12 clipes em 9,19 s em um iPhone 17 Pro, no dispositivo.
Medido no dispositivo, fixado na CPU e no Neural Engine
| Transcrição | iPhone 17 Pro | iPhone 15 Pro |
|---|---|---|
| 25-minute video, 12 clips | 9,19 s | 10,22 s |
| Per candidate, encoder only | 2,78 ms | 3,13 ms |
Medições internas na build Core ML distribuída. As bordas dos clipes são o ponto fraco conhecido, e a seleção perto de um momento é sensível a pequenas mudanças de pontuação, então um runtime ou uma quantização diferente devolve um conjunto diferente, mas comparável.
Casos de uso
Crie vídeos curtos e clipes de destaque.
Shorts de um episódio de podcast
Publique os cinco melhores momentos de um episódio de uma hora como shorts, ranqueados, antes de a exportação terminar, em poucos segundos, direto no dispositivo.
Edite automaticamente uma tomada longa
Transforme uma tomada arrastada de 25 minutos em um corte enxuto em um editor de vídeo. Obtenha um compilado de destaques com os insights mais importantes de um vídeo, pronto para revisar ou publicar.
Clipe o catálogo antigo
Passe uma biblioteca de palestras ou transmissões gravadas pelo Clips em um Mac durante a noite. Nada é enviado e nada é cobrado por vídeo, então mil vídeos custam o mesmo que um.
Destaques em cem idiomas
Um app de criadores que sai em espanhol, português e alemão recebe a mesma seleção de clipes nos três: um modelo cobre cem idiomas, a partir da transcrição, no dispositivo.
Inspiração
Ideias para construir com o Clips. Copie um prompt para o seu agente de código e comece.
Turn any recording into a ranked set of shorts.
Generate a highlight reel from a long stream or talk.
Produce a rough auto-edit from a rambling take.
Clip a whole back catalog of videos overnight on a Mac.
Build a full podcast studio: transcribe, clip, and title on the device.
Record, clean, transcribe, and clip: a whole creator pipeline, offline.
Turn a webinar into teaser clips for social.
Build a fully local clipping engine: transcribe, clip, title, caption.
O que o modelo faz
- Ranqueia os melhores momentos não sobrepostos de uma transcrição: cada clipe é pontuado e ranqueado. Monte seleções fortes ou recursos de edição únicos para escolher as melhores frases em gravações de vídeo ou áudio.
- Controle a seleção. Use o limiar sobre
percentile, não sobre a pontuação bruta: um corte em 0,8 dá em média 5 clipes cobrindo 17% do vídeo (destaques), e um corte em 0,3 dá em média 32 clipes cobrindo 74% (edição automática). - Sem janela de contexto: as frases passam pelo seletor em lotes e cada candidata é pontuada por conta própria, então não há um limite de contexto a contornar. Crie clipes de transcrições longas de vídeo ou áudio sem problema algum.
- Mais rápido, melhor, mais barato. Uma transcrição de 25 minutos com 404 frases devolve 12 clipes em 9,19 s em um iPhone 17 Pro e 10,22 s em um iPhone 15 Pro; 2,78 ms por candidata só no encoder.
- Suporte a vários idiomas. 100 idiomas em um único pacote Core ML int8 de 284 MB em dispositivos Apple.
- Combine o Clips com o nosso modelo Title para gerar títulos e descrições e montar um motor de clipes totalmente local, que roda inteiramente no dispositivo.
App de exemplo
Clipper
Feito com Voz, Clips, Title
Generate short clips from a video podcast or a long recording, fully on device. A macOS app and a command-line tool over the same core.
Voz transcribes with a time on every word, Clips ranks the best spans, and Title writes a title and description for each.
macOS 26 or later, Apple Silicon
brew tap desert-ant-labs/tap
brew install --cask clipperPrimeiros passos
Adicione seleção de clipes ao seu app iOS or macOS em poucas linhas de código. Docs do Clips.
// Swift Package Manager
.package(url: "https://github.com/Desert-Ant-Labs/desert-ant-core.git", from: "3.5.0")
// target dependency
.product(name: "Clips", package: "desert-ant-core")import Clips
let clips = Clips()
let moments = try await clips.clips(in: sentences) // [Clip], best first
for clip in moments {
print(clip.text, clip.start, clip.end, clip.percentile)
}Add Clips from Desert Ant Labs to this Swift project (iOS, macOS). What it does: shorts e destaques de qualquer gravação, no dispositivo. SDK: Swift (iOS, macOS) Repo: https://github.com/Desert-Ant-Labs/desert-ant-core#readme // Swift Package Manager .package(url: "https://github.com/Desert-Ant-Labs/desert-ant-core.git", from: "3.5.0") // target dependency .product(name: "Clips", package: "desert-ant-core") Reference: - Model page: https://desertant.com/models/clips/ - Full catalog and other models: https://desertant.com/llms.txt Add the SDK, then follow its README for the exact API and current version. Do not invent API names or method signatures; confirm them against the README.
Especificações
- Velocidade
- Uma transcrição de 25 minutos em 9,19 s em um iPhone 17 Pro, 10,22 s em um iPhone 15 Pro
- Tamanho no dispositivo
- 284 MB Core ML int8 (Apple); dois arquivos LiteRT de 283 MB para Android, Linux e Windows
- Idiomas
- 100
- Modelo
- Quatro cabeças: saliência, início, fim e pontuação do clipe
- Plataformas
- iOS 18, macOS 15, tvOS 18, visionOS 2 (Core ML). Os arquivos LiteRT de Android, Linux e Windows estão publicados, mas ainda não são suportados no nosso SDK.
As bordas dos clipes são o ponto fraco. Um clipe pode abrir em um pronome cujo referente estava na frase anterior, fundir dois temas, cortar antes do desfecho ou engolir a leitura de um patrocinador.
Vídeos curtos devolvem poucos clipes, uma transcrição com menos de três frases não devolve nenhum, e o limite de clipes é um teto, não uma cota. As escritas não latinas foram pouco testadas, e os arquivos de Linux e Windows ainda não são suportados no nosso SDK.
FAQ
O que é o Clips?
Seleção de clipes no dispositivo que transforma uma gravação longa em shorts e destaques ranqueados, a partir de uma transcrição. No iPhone ou no Mac.
O Clips roda no dispositivo?
Sim. O Clips roda no dispositivo, sem chamada a servidor, então os dados ficam com o usuário.
Quais plataformas o Clips suporta?
O Clips é distribuído como um SDK nativo no dispositivo para Swift.
Quanto custa o Clips?
Cada modelo é gratuito para até 100 mil dispositivos ativos mensais. A inferência é ilimitada. Fale conosco para licenças personalizadas.
Qual a precisão e a velocidade do Clips?
O Clips ranqueia uma transcrição de 25 minutos com 404 frases em 12 clipes em 9,19 s em um iPhone 17 Pro, no dispositivo.