Skip to content

Transcription with vibevoice-crispasr is not covering audio full-length #10701

Description

@pmarini-nc

LocalAI version:
4.6.1

Environment, CPU architecture, OS, and Version:

root@local-ai:~# uname -a
Linux local-ai 6.8.0-124-generic #124-Ubuntu SMP PREEMPT_DYNAMIC Tue May 26 13:00:45 UTC 2026 x86_64 x86_64 x86_64 GNU/Linux
root@local-ai:~# free -mh
               total        used        free      shared  buff/cache   available
Mem:            31Gi       8.1Gi       9.8Gi        34Mi        13Gi        23Gi
Swap:             0B          0B          0B
root@local-ai:~# lscpu
Architecture:                x86_64
  CPU op-mode(s):            32-bit, 64-bit
  Address sizes:             46 bits physical, 48 bits virtual
  Byte Order:                Little Endian
CPU(s):                      6
  On-line CPU(s) list:       0-5
Vendor ID:                   GenuineIntel
  BIOS Vendor ID:            QEMU
  Model name:                Intel(R) Xeon(R) CPU E5-2680 v4 @ 2.40GHz
    BIOS Model name:         pc-q35-8.2  CPU @ 2.0GHz
    BIOS CPU family:         1
    CPU family:              6
    Model:                   79
    Thread(s) per core:      1
    Core(s) per socket:      6
    Socket(s):               1
    Stepping:                1
    BogoMIPS:                4794.44
    Flags:                   fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush mmx fxsr sse sse2 ss ht syscall nx pdpe1gb rdtscp
                              lm constant_tsc arch_perfmon rep_good nopl xtopology cpuid tsc_known_freq pni pclmulqdq vmx ssse3 fma cx16 pdcm pcid sse4_1 sse4
                             _2 x2apic movbe popcnt tsc_deadline_timer aes xsave avx f16c rdrand hypervisor lahf_lm abm 3dnowprefetch cpuid_fault pti ssbd ibr
                             s ibpb stibp tpr_shadow ept vpid ept_ad fsgsbase tsc_adjust bmi1 hle avx2 smep bmi2 erms invpcid rtm rdseed adx smap xsaveopt ara
                             t vnmi umip md_clear flush_l1d arch_capabilities
Virtualization features:     
  Virtualization:            VT-x
Caches (sum of all):         
  L1d:                       192 KiB (6 instances)
  L1i:                       192 KiB (6 instances)
  L2:                        24 MiB (6 instances)
  L3:                        16 MiB (1 instance)
NUMA:                        
  NUMA node(s):              1
  NUMA node0 CPU(s):         0-5
Vulnerabilities:             
  Gather data sampling:      Not affected
  Indirect target selection: Mitigation; Aligned branch/return thunks
  Itlb multihit:             Not affected
  L1tf:                      Mitigation; PTE Inversion; VMX flush not necessary, SMT disabled
  Mds:                       Mitigation; Clear CPU buffers; SMT Host state unknown
  Meltdown:                  Mitigation; PTI
  Mmio stale data:           Mitigation; Clear CPU buffers; SMT Host state unknown
  Reg file data sampling:    Not affected
  Retbleed:                  Not affected
  Spec rstack overflow:      Not affected
  Spec store bypass:         Mitigation; Speculative Store Bypass disabled via prctl
  Spectre v1:                Mitigation; usercopy/swapgs barriers and __user pointer sanitization
  Spectre v2:                Mitigation; Retpolines; IBPB conditional; IBRS_FW; STIBP disabled; RSB filling; PBRSB-eIBRS Not affected; BHI Retpoline
  Srbds:                     Not affected
  Tsa:                       Not affected
  Tsx async abort:           Mitigation; Clear CPU buffers; SMT Host state unknown
  Vmscape:                   Not affected

Describe the bug

I'm trying with different audio files the transcription using the model vibevoice-crispasr.

The problem is that I'm getting an incomplete transcription. For example for this file the transcription stops at around 1:36, while the recording is around 2:30 in length.

audio.mp3

To Reproduce
curl -X 'POST' -H "Authorization: Bearer <authtoken>" 'http://localhost:8080/v1/audio/transcriptions' -H 'accept: application/json' -H 'Content-Type: multipart/form-data' -F 'model=vibevoice-crispasr' -F 'file=@audio.mp3' -F 'stream=true'

data: {"delta":"[{\"Start\":0,\"End\":37.48,\"Speaker\":0,\"Content\":\"Lo he disfrutado porque primero, eh, he visto que España ha tenido una buena circulación de balón que ha sido la clave para para abrir al rival, para desarmar al rival. Los austriacos al principio han estado que que parecía que nos iban a crear muchas dificultades, pero esa circulación de balón donde por cierto Dani Olmo es súper necesario, eh, yo creo que ha sido la la clave, ¿no? Baena, Lamín, Pedri, Rodri a un nivel muy bueno. Esa superioridad del centro del campo se ha notado. Cucurella y Pedro Porro imponentes. Y bueno, yo estoy feliz de haber recuperado la la sensación de ver a la España que todos queríamos, ¿no?\"},{\"Start\":37.48,\"End\":67.15,\"Speaker\":0,\"Content\":\"no sé si ha tenido que ver que ha mejorado físicamente la selección, ha tenido que ver que se ha repetido el once que vimos aquella buena media hora contra Arabia Saudí. Ha tenido que ver que el rival tampoco era la Brasil del 70, pero lo mejor es que las sensaciones que ha transmitido España eran las que necesitábamos y ahora sí estamos de pronto de nuevo ilusionados con que con este nivel podemos avanzar, ¿no?\"},{\"Start\":67.15,\"End\":82.14,\"Speaker\":0,\"Content\":\"no, no, hay que ser prudente, a ver qué nos toca, a ver si es Portugal o Croacia, ya veremos lo que viene después, pero la diferencia es que los anteriores partidos nos dejaban fríos y esta este partido nos deja esperanzados y contentos.\"},{\"Start\":82.14,\"End\":109.12,\"Speaker\":1,\"Content\":\"Me ha recordado Manu claramente a la a la Eurocopa de 2024. Además, jugando de otra forma, porque entonces teníamos un otro otro interior más físico, ahora añadimos, eh, podemos añadir incluso más fútbol con Pedri más en la base y con Dani Olmo coincidiendo con Gaya, que es absolutamente fundamental","type":"transcript.text.delta"}

data: {"duration":142.28900146484375,"segments":[{"end":142.28,"id":0,"start":0,"text":"[{\"Start\":0,\"End\":37.48,\"Speaker\":0,\"Content\":\"Lo he disfrutado porque primero, eh, he visto que España ha tenido una buena circulación de balón que ha sido la clave para para abrir al rival, para desarmar al rival. Los austriacos al principio han estado que que parecía que nos iban a crear muchas dificultades, pero esa circulación de balón donde por cierto Dani Olmo es súper necesario, eh, yo creo que ha sido la la clave, ¿no? Baena, Lamín, Pedri, Rodri a un nivel muy bueno. Esa superioridad del centro del campo se ha notado. Cucurella y Pedro Porro imponentes. Y bueno, yo estoy feliz de haber recuperado la la sensación de ver a la España que todos queríamos, ¿no?\"},{\"Start\":37.48,\"End\":67.15,\"Speaker\":0,\"Content\":\"no sé si ha tenido que ver que ha mejorado físicamente la selección, ha tenido que ver que se ha repetido el once que vimos aquella buena media hora contra Arabia Saudí. Ha tenido que ver que el rival tampoco era la Brasil del 70, pero lo mejor es que las sensaciones que ha transmitido España eran las que necesitábamos y ahora sí estamos de pronto de nuevo ilusionados con que con este nivel podemos avanzar, ¿no?\"},{\"Start\":67.15,\"End\":82.14,\"Speaker\":0,\"Content\":\"no, no, hay que ser prudente, a ver qué nos toca, a ver si es Portugal o Croacia, ya veremos lo que viene después, pero la diferencia es que los anteriores partidos nos dejaban fríos y esta este partido nos deja esperanzados y contentos.\"},{\"Start\":82.14,\"End\":109.12,\"Speaker\":1,\"Content\":\"Me ha recordado Manu claramente a la a la Eurocopa de 2024. Además, jugando de otra forma, porque entonces teníamos un otro otro interior más físico, ahora añadimos, eh, podemos añadir incluso más fútbol con Pedri más en la base y con Dani Olmo coincidiendo con Gaya, que es absolutamente fundamental"}],"text":"[{\"Start\":0,\"End\":37.48,\"Speaker\":0,\"Content\":\"Lo he disfrutado porque primero, eh, he visto que España ha tenido una buena circulación de balón que ha sido la clave para para abrir al rival, para desarmar al rival. Los austriacos al principio han estado que que parecía que nos iban a crear muchas dificultades, pero esa circulación de balón donde por cierto Dani Olmo es súper necesario, eh, yo creo que ha sido la la clave, ¿no? Baena, Lamín, Pedri, Rodri a un nivel muy bueno. Esa superioridad del centro del campo se ha notado. Cucurella y Pedro Porro imponentes. Y bueno, yo estoy feliz de haber recuperado la la sensación de ver a la España que todos queríamos, ¿no?\"},{\"Start\":37.48,\"End\":67.15,\"Speaker\":0,\"Content\":\"no sé si ha tenido que ver que ha mejorado físicamente la selección, ha tenido que ver que se ha repetido el once que vimos aquella buena media hora contra Arabia Saudí. Ha tenido que ver que el rival tampoco era la Brasil del 70, pero lo mejor es que las sensaciones que ha transmitido España eran las que necesitábamos y ahora sí estamos de pronto de nuevo ilusionados con que con este nivel podemos avanzar, ¿no?\"},{\"Start\":67.15,\"End\":82.14,\"Speaker\":0,\"Content\":\"no, no, hay que ser prudente, a ver qué nos toca, a ver si es Portugal o Croacia, ya veremos lo que viene después, pero la diferencia es que los anteriores partidos nos dejaban fríos y esta este partido nos deja esperanzados y contentos.\"},{\"Start\":82.14,\"End\":109.12,\"Speaker\":1,\"Content\":\"Me ha recordado Manu claramente a la a la Eurocopa de 2024. Además, jugando de otra forma, porque entonces teníamos un otro otro interior más físico, ahora añadimos, eh, podemos añadir incluso más fútbol con Pedri más en la base y con Dani Olmo coincidiendo con Gaya, que es absolutamente fundamental","type":"transcript.text.done"}

data: [DONE]

# cat /mnt/vol01/local-ai/models/vibevoice-cpp-asr.yaml 
backend: vibevoice-cpp
known_usecases:
    - transcript
    - diarization
name: vibevoice-cpp-asr
options:
    - type=asr
    - tokenizer=vibevoice-cpp-asr/tokenizer.gguf
parameters:
    model: vibevoice-cpp-asr/vibevoice-asr-q4_k.gguf

Expected behavior
Audio transcribed in its full length.

Logs
I can provide logs but I'd like to know first if I'im doing something wrong with the parameters or this is a known (mis)behaviour.

Additional context
The quality of the transcription is very good, I'm using this model as it support diarization too.

Metadata

Metadata

Assignees

No one assigned

    Labels

    Projects

    No projects

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions