Clips
Seleção de clipes no dispositivo que transforma uma gravação longa em shorts e destaques classificados, a partir de uma transcrição. No iPhone ou no Mac.
Crie vídeos curtos e clipes de destaque.
De uma gravação de 25 minutos, o Clips classifica 12 clipes em 9 s num iPhone 17 Pro. Crie uma seleção classificada de clipes para partilhar na hora.
O Clips analisa uma transcrição para encontrar os melhores momentos e histórias e devolve uma lista classificada de clipes. Use a seleção classificada para montar compilados de destaques ou um vídeo-resumo. Construa o seu próprio motor de clipes ou de edição automática, sem custo de inferência.
Nada é enviado, então clipar um catálogo antigo custa o mesmo que clipar um único vídeo. Não há limite de duração nem tamanho máximo de contexto. Use o Clips em vídeos curtos ou ficheiros de áudio para obter um resumo em segundos, ou processe gravações de uma hora sem limitações.
25 minutos de vídeo, clipados em 9 s.
O Clips classifica uma transcrição de 25 minutos com 404 frases em 12 clipes em 9,19 s num iPhone 17 Pro, no dispositivo.
Medido no dispositivo, fixado na CPU e no Neural Engine
| Transcrição | iPhone 17 Pro | iPhone 15 Pro |
|---|---|---|
| 25-minute video, 12 clips | 9,19 s | 10,22 s |
| Per candidate, encoder only | 2,78 ms | 3,13 ms |
Medições internas na build Core ML distribuída. Os limites dos clipes são o ponto fraco conhecido, e a seleção perto de um momento é sensível a pequenas mudanças de pontuação, então um runtime ou uma quantização diferente devolve um conjunto diferente, mas comparável.
Casos de uso
Crie vídeos curtos e clipes de destaque.
Shorts de um episódio de podcast
Publique os cinco melhores momentos de um episódio de uma hora como shorts, classificados, antes de a exportação terminar, em poucos segundos, diretamente no dispositivo.
Edite automaticamente uma tomada longa
Transforme uma tomada arrastada de 25 minutos num corte enxuto num editor de vídeo. Obtenha um compilado de destaques com os insights mais importantes de um vídeo, pronto para revisar ou publicar.
Clipe o catálogo antigo
Passe uma biblioteca de palestras ou transmissões gravadas pelo Clips num Mac durante a noite. Nada é enviado e nada é cobrado por vídeo, então mil vídeos custam o mesmo que um.
Destaques em cem línguas
Um app de criadores que sai em espanhol, português e alemão recebe a mesma seleção de clipes nos três: um modelo cobre cem línguas, a partir da transcrição, no dispositivo.
Inspiração
Ideias para construir com o Clips. Copie um prompt para o seu agente de código e comece.
Turn any recording into a ranked set of shorts.
Generate a highlight reel from a long stream or talk.
Produce a rough auto-edit from a rambling take.
Clip a whole back catalog of videos overnight on a Mac.
Build a full podcast studio: transcribe, clip, and title on the device.
Record, clean, transcribe, and clip: a whole creator pipeline, offline.
Turn a webinar into teaser clips for social.
Build a fully local clipping engine: transcribe, clip, title, caption.
O que o modelo faz
- Classifica os melhores momentos não sobrepostos de uma transcrição: cada clipe é pontuado e classificado. Monte seleções fortes ou funcionalidades de edição únicas para escolher as melhores frases em gravações de vídeo ou áudio.
- Controle a seleção. Use o limiar sobre
percentile, não sobre a pontuação bruta: um corte em 0,8 dá em média 5 clipes a cobrir 17% do vídeo (destaques), e um corte em 0,3 dá em média 32 clipes a cobrir 74% (edição automática). - Sem janela de contexto: as frases passam pelo seletor em lotes e cada candidata é pontuada por conta própria, então não há um limite de contexto a contornar. Crie clipes de transcrições longas de vídeo ou áudio sem problema algum.
- Mais rápido, melhor, mais barato. Uma transcrição de 25 minutos com 404 frases devolve 12 clipes em 9,19 s num iPhone 17 Pro e 10,22 s num iPhone 15 Pro; 2,78 ms por candidata só no encoder.
- Suporte a várias línguas. 100 línguas num único pacote Core ML int8 de 284 MB em dispositivos Apple.
- Combine o Clips com o nosso modelo Title para gerar títulos e descrições e montar um motor de clipes totalmente local, que corre inteiramente no dispositivo.
Aplicação de exemplo
Clipper
Feito com Voz, Clips, Title
Generate short clips from a video podcast or a long recording, fully on device. A macOS app and a command-line tool over the same core.
Voz transcribes with a time on every word, Clips ranks the best spans, and Title writes a title and description for each.
macOS 26 or later, Apple Silicon
brew tap desert-ant-labs/tap
brew install --cask clipperPrimeiros passos
Adicione seleção de clipes ao seu app iOS or macOS em poucas linhas de código. Docs do Clips.
// Swift Package Manager
.package(url: "https://github.com/Desert-Ant-Labs/desert-ant-core.git", from: "3.5.0")
// target dependency
.product(name: "Clips", package: "desert-ant-core")import Clips
let clips = Clips()
let moments = try await clips.clips(in: sentences) // [Clip], best first
for clip in moments {
print(clip.text, clip.start, clip.end, clip.percentile)
}Add Clips from Desert Ant Labs to this Swift project (iOS, macOS). What it does: shorts e destaques de qualquer gravação, no dispositivo. SDK: Swift (iOS, macOS) Repo: https://github.com/Desert-Ant-Labs/desert-ant-core#readme // Swift Package Manager .package(url: "https://github.com/Desert-Ant-Labs/desert-ant-core.git", from: "3.5.0") // target dependency .product(name: "Clips", package: "desert-ant-core") Reference: - Model page: https://desertant.com/models/clips/ - Full catalog and other models: https://desertant.com/llms.txt Add the SDK, then follow its README for the exact API and current version. Do not invent API names or method signatures; confirm them against the README.
Especificações
- Velocidade
- Uma transcrição de 25 minutos em 9,19 s num iPhone 17 Pro, 10,22 s num iPhone 15 Pro
- Tamanho no dispositivo
- 284 MB Core ML int8 (Apple); dois ficheiros LiteRT de 283 MB para Android, Linux e Windows
- Línguas
- 100
- Modelo
- Quatro cabeças: saliência, início, fim e pontuação do clipe
- Plataformas
- iOS 18, macOS 15, tvOS 18, visionOS 2 (Core ML). Os ficheiros LiteRT de Android, Linux e Windows estão publicados, mas ainda não são suportados no nosso SDK.
Os limites dos clipes são o ponto fraco. Um clipe pode abrir num pronome cujo referente estava na frase anterior, fundir dois temas, cortar antes do desfecho ou engolir a leitura de um patrocinador.
Vídeos curtos devolvem poucos clipes, uma transcrição com menos de três frases não devolve nenhum, e o limite de clipes é um teto, não uma cota. As escritas não latinas foram pouco testadas, e os ficheiros de Linux e Windows ainda não são suportados no nosso SDK.
FAQ
O que é o Clips?
Seleção de clipes no dispositivo que transforma uma gravação longa em shorts e destaques classificados, a partir de uma transcrição. No iPhone ou no Mac.
O Clips é executado no dispositivo?
Sim. O Clips é executado no dispositivo, sem qualquer chamada a servidores, por isso os dados ficam com o utilizador.
Que plataformas suporta o Clips?
O Clips é distribuído como um SDK nativo no dispositivo para Swift.
Quanto custa o Clips?
Cada modelo é gratuito para até 100 mil dispositivos ativos mensais. A inferência é ilimitada. Contacte-nos para licenças personalizadas.
Qual é a precisão ou a rapidez do Clips?
O Clips classifica uma transcrição de 25 minutos com 404 frases em 12 clipes em 9,19 s num iPhone 17 Pro, no dispositivo.