CoverSong / So-VITS-SVC

  • Nom de l’outil : CoverSong / So-VITS-SVC

  • Catégorie : Audio (Singing Voice Conversion)

  • Développeur : Communauté open-source + Tencent/Meta (forks)

  • Date de sortie : 2022 (v1) • 2023 (v4)

Objectif

Convertir une voix chantée/parlée pour imiter une autre voix cible tout en conservant mélodie et expression.

Fonctionnement résumé

Étape

Description

Entrée

Audio source + échantillons voix cible (5-30min)

Traitement

Extraction pitch/timbre → conversion VITS/Diffusion

Sortie

Audio transformé (même mélodie, nouvelle voix)

Fonctions principales

  • ✅ Conversion voix→voix ultra-réaliste

  • ✅ Conservation précise de la mélodie

  • ✅ Support chant/rap/voix parlée

  • ✅ Customisation via datasets légers

  • ❌ Problématiques légales potentielles

  • ❌ Requiert tuning manuel pour qualité optimale

Exemples d’usage concrets

Domaine

Exemple

Musique

Création de covers IA d’artistes

Cinéma

Doublage chanté automatique

Accessibilité

Adaptation vocale pour handicaps

Éducation

Correction pitch/timbre en temps réel

Détails techniques

Caractéristique

Valeur

Architecture

VITS + Diffusion/HiFi-GAN

Framework

PyTorch

Input

Audio WAV 44.1kHz + dataset voix

Output

Audio 44.1kHz (format professionnel)

Licence

MIT (open-source)

Pricing

  • Gratuit • Coûts cloud pour GPU (Colab Pro recommandé)

Releases clés

  • v1 : Version initiale So-VITS (2022)

  • v4 : Intégration Diffusion + 24kHz (2023)

Alternatives connues

Ressources utiles

Exemple de workflow

# Chargement modèle pré-entraîné
svc_model = SvcPipeline("target_voice.pth")
# Conversion
output_audio = svc_model.convert(
    input_audio="ma_voix.wav", 
    pitch_shift=0, 
    method="diffusion"
)

Input/Output

  • Input : voix_amateur.wav (chant) + dataset_beyonce/ (20min samples)

  • Output : [COVER] Halo (voix Beyoncé IA).wav

Avantages/Limites

✅ Avantages

❌ Inconvénients

Qualité studio

Courbe d’apprentissage raide

Customisation extrême

Risques copyright

Communauté active

GPU haut de gamme requis

Aspects légaux

  • Usage commercial déconseillé sans droits

  • Outils souvent bloqués sur YouTube/Spotify

Confidentialité

  • Traitement local possible

  • Pas de collecte de données

Statistiques

  • 15k+ stars GitHub (tous forks confondus)

  • 300+ covers IA générés quotidiennement