Audio / MIDI

ImageToMIDI QT

0.1.3.16

Experimentální obrazově-hudební nástroj pro mapování obrazových dat na MIDI, rekonstrukci MIDI ↔ obraz a práci s více kanály, zařízeními a synchronizačními offsety.

Co projekt řeší

Experimentální obrazově-hudební nástroj pro mapování obrazových dat na MIDI, rekonstrukci MIDI ↔ obraz a práci s více kanály, zařízeními a synchronizačními offsety.

Typické použití

Konverze obrázků ↔ MIDI (image pixel → MIDI note, velocity, channel)
Audio import (MP3 → spektrogram → BMP → MIDI)
Multi-track MIDI generování (16 kanálů, GM/GS standard)
Mapování RGB/Hexadecimální na MIDI parametry
Dávkové zpracování (batch PIC→MIDI, MIDI→PIC rekonstrukce)
Real-time MIDI playback (Windows MCI, Mido)

Jak aplikace funguje a k čemu slouží

Přehled

ImageToMIDI_QT je robustní nástroj pro generování MIDI dat z obrazových podkladů. Podporuje statické obrázky (BMP, PNG, JPG) i dynamické audio-spektrogramy (MP3).

Konverze obrázku → MIDI (luma, RGB, vrstvy)
Podpora MP3 importu přes FFMPEG (spektrogram pipeline)
32 kanálů ve dvou bankách (A/B) s plným mido routingem
Per-device a per-bank offsety pro precizní synchronizaci HW synthů
Device presets pro Korg Volca, Roland TR-8 a MS GS Synth

Funkce a Vlastnosti

Image Mapping: Převod pixelů na MIDI (Luminance, RGB, vrstvy).
Audio to MIDI: Automatická pipeline MP3 → Spektrogram (BMP) → MIDI via FFMPEG.
MIDI Mixer (A/B): Správa 32 kanálů se samostatným i sdíleným routováním pro dvě banky.
Precise Sync: Per-device a per-bank offsety (ms) pro dokonalé fázování HW a SW syntéz.
Hardware Presets: Přednastavení a auto-detekce pro Korg Volca, Roland TR-8 a MS GS Wavetable.
NumPy Acceleration: Hardwarově akcelerovaná analýza pixelů pro okamžitou konverzi velkých obrazů.
Overlay Visualization: Dynamický crosshair a step marker v reálném čase bez vlivu na výkon (paintEvent optimization).
Asset Registry: Pokročilý lookup systém ( → /./. fallback).
Dual Playback: Kombinované přehrávání Windows MCI (Bank A) + Mido routing (Bank B).

Podporované formáty a standardy

Vstupní data: BMP, PNG, JPG (libovolné rozlišení), MP3 (vyžaduje ffmpeg).

Výstup: Standard MIDI File (SMF .mid). Podpora GM (General MIDI) i GS standardů.

Render: Volitelný export do WAV (přes FluidSynth + .sf2 soundfonty).

Použití

ImageToMIDI_QT převádí vizuální informaci na hudební data. Postup práce:

Load Image: Načtení rastrového obrázku (PNG, JPG, BMP).
Mapování: Výběr režimu (Luminance, RGB kanály, vrstvy).
Kvantizace: Omezení tónů na konkrétní hudební škálu a rozsah not.
Export: Generování standardního MIDI souboru (.mid).

Troubleshooting

Lagování grafické rozhraní: Pokud dochází k lagům, ujistěte se, že nepoužíváte legacy a assets máte v moderních strukturách.
Numpy chybí: Aplikace poběží i bez NumPy, ale proces konverze bude u velkých obrázků výrazně pomalejší.

FAQ

Podporuje aplikace více stop? Ano, v multi-track režimu lze mapovat různé barvy (RGB) do samostatných MIDI kanálů.

Jak funguje sustain? Sustain se vypočítává z kontinuity jasu v horizontální nebo vertikální ose obrázku.

Aktuální větev 0.1.3.16

Novější větev pokračuje v mapování obrazu na hudební data a v obousměrných experimentech MIDI ↔ obraz. Důležitou součástí zůstává vícekanálový GM/GS routing, práce s bankami, řízení MIDI zařízení a synchronizační offsety pro kombinaci softwarových a hardwarových syntetizérů. Aplikace je součástí širšího experimentálního MIDI workflow vedle VMS a Wave Generatoru.

Veřejná dokumentace popisuje výsledek a workflow; interní názvy widgetů, asset registry a jednotlivých handlerů jsou z profilu odstraněné.