Audio2GMGS MIDI PS6
Multitrackový převodník audia do GM/GS MIDI, který kombinuje separaci zdrojů, rozpoznání tónů a rytmu, mapování nástrojů a export jednotlivých MIDI stop i společného multitrack mixu.
Co projekt řeší
Multitrackový převodník audia do GM/GS MIDI, který kombinuje separaci zdrojů, rozpoznání tónů a rytmu, mapování nástrojů a export jednotlivých MIDI stop i společného multitrack mixu.
Typické použití
- Převod WAV/MP3/FLAC a dalších audio formátů do editovatelného MIDI
- Separace smíšeného audia na bicí, basu, vokál, kytaru, piano a další složky
- Export jedné MIDI stopy pro každý stem i společného multitrack MIDI
- Příprava MIDI pro DAW, GM/GS syntetizátory a další aranžování
Hlavní vlastnosti
- Až 16 vstupních stemů
- Per-stem quantizace OFF / ADAPTIVE / MANUAL
- GM/GS Program + Bank MSB/LSB mapování
- Samostatné zacházení s bicími na MIDI kanálu 10
- CPU i akcelerované inference backendy podle dostupného runtime
- dávkový režim/batch workflow vedle grafické rozhraní
Jak aplikace funguje a k čemu slouží
Od audia k editovatelnému aranžmá
Audio2GMGS MIDI PS6 není jednoduchý „audio to MIDI“ převodník jedné melodické linky. Cílem projektu je rozložit nahrávku nebo již připravené stemy na hudebně smysluplné části, analyzovat je podle jejich charakteru a vytvořit z nich MIDI, které je možné dále upravovat v DAW nebo přehrát přes GM/GS kompatibilní syntézu. Workflow proto kombinuje oddělení zdrojů, pitch/onset analýzu, rytmické zpracování, heuristické rozpoznání nástroje, volbu MIDI kanálu a programu a následný export.
Projekt počítá jak se smíšeným vstupem, tak s ručně připravenými stopami. Smíšené audio může být separováno pomocí Demucs do základních stemů drums, bass, vocals, guitar, piano a other; uživatel ale může pracovat i s vlastními vstupními stem soubory a dynamicky přidávat stopy až do praktického limitu šestnácti vstupů.
Analytické backendy a specializace podle typu stopy
Melodické a polyfonní stopy mohou používat Basic Pitch a ONNX runtime podle dostupného profilu. Bicí mají odlišné požadavky než vokál, basa nebo klavír, proto se v projektu nepoužívá jedna univerzální heuristika pro všechny zdroje. Drum workflow používá vlastní mapování perkusí a výsledná MIDI bicí stopa je směrována na standardní GM kanál 10. U melodických stop se řeší pitch tracking, délky not, polyfonie, dynamika a výběr vhodného GM/GS programu.
Runtime obsahuje NumPy/SciPy/librosa, soundfile, mido, pretty-midi, mir_eval, resampy, ONNX Runtime, Basic Pitch a Demucs. Výpočetní backend je navržen tak, aby mohl běžet na CPU a podle dostupného runtime využít akcelerované inference varianty.
grafické rozhraní, dávkový režim a batch workflow
Desktopové grafické rozhraní slouží pro interaktivní přípravu projektu, výběr vstupů, parametrů stemů, mapování nástrojů a export. Vedle něj se počítá s dávkový režim/batch režimem, aby bylo možné převádět více souborů bez ručního klikání a stejné nastavení znovu použít v automatizovaném workflow. Formátová vrstva je postavená tak, aby mohla přijímat běžné audio formáty jako WAV, MP3, FLAC, OGG, OPUS, M4A/AAC, AIFF/AIF nebo WMA podle dostupného dekódovacího backendu.