Entwicklungsanleitung für projizierte Video-Decals

using LCCCore;
using UnityEngine;
using UnityEngine.Video;

public class VideoStreaming : MonoBehaviour
{
    [Header("Erforderlich")]
    [Tooltip("Die LCCManager-Instanz in der Szene")]
    public LCCManager m_manager;
    [Tooltip("Ein gültiger LCC-Szenenpfad")]
    public string m_filePath;

    [Header("Videoquelle (dekodierte Frames werden als Decal projiziert)")]
    [Tooltip("Der zu projizierende Video-Clip. Hat Vorrang vor der unten stehenden URL")]
    public VideoClip m_videoClip;
    [Tooltip("Videodateipfad / -URL, verwendet, wenn kein Clip zugewiesen ist (z. B. file:///D:/xxx.mp4)")]
    public string m_videoUrl;
    [Tooltip("Wiedergabe in Schleife")]
    public bool m_videoLoop = true;

    [Header("Projektor (projiziert entlang +Z)")]
    [Tooltip("Projektor-Pose. Leer lassen, um die Transform dieses Objekts zu verwenden")]
    public Transform m_projector;
    [Range(1f, 179f)] public float m_fov = 60f;
    [Tooltip("Seitenverhältnis der Projektion; <=0 verwendet automatisch das Seitenverhältnis des Videos")]
    public float m_aspect = 0f;
    public float m_near = 0.1f;
    public float m_far = 100f;

    [Header("Decal-Erscheinungsbild")]
    [Range(0f, 1f)] public float m_opacity = 1.0f;
    [Range(0f, 0.5f)][Tooltip("Breite der Kantenüberblendung (UV-Verhältnis). 0 = harte Kante")]
    public float m_edgeFade = 0.1f;
    [Tooltip("Projektion in jedem Frame aktualisieren, damit Sie den Projektor ziehen / Parameter zur Laufzeit anpassen können")]
    public bool m_updateEveryFrame = true;

    [Header("Verdeckungs-Culling (nur PC/Mac)")]
    [Tooltip("Wenn aktiviert, werden rückwärtige/verdeckte Punkte hinter der vorderen Geometrie nicht mehr vom Decal eingefärbt (Diaprojektor-Effekt); wenn deaktiviert, ist es röntgenartig")]
    public bool m_occlusion = false;
    [Range(0f, 1f)][Tooltip("Deckkraft-Schwellenwert: Nur Splats mit einer Deckkraft >= diesem Wert tragen zur Tiefenkarte bei, wodurch schwebende/nebelartige Punkte herausgefiltert werden. 0 = alle nehmen teil")]
    public float m_occlusionCutoff = 0f;
    [Range(0f, 0.5f)][Tooltip("Relative Tiefentoleranz. Zu klein -> Selbstverdeckung an der nahen Oberfläche; zu groß -> durchgesickerte röntgenartige Einfärbung. Standard 0.05")]
    public float m_occlusionBias = 0.05f;
    [Range(0, 16)][Tooltip("Maximaler quadratischer Footprint-Radius (px), der Hauptregler zum Entfernen von röntgenartigem Durchscheinen. 0 = einzelnes Texel, Standard 2")]
    public int m_occlusionFootprint = 2;
    [Tooltip("Auflösung der Tiefenkarte (px, Zweierpotenz 256~4096). Verringern, um Löcher bei flachen Winkeln zu füllen. Standard 1024")]
    public int m_occlusionResolution = 1024;

    // -- Laufzeit-Zustand --
    private bool m_loaded;
    private bool m_lastOcclusion;
    private float m_lastCutoff = float.NaN;
    private float m_lastBias = float.NaN;
    private int m_lastFootprint = -1;
    private int m_lastResolution = -1;

    // -- Video-Zustand --
    private VideoPlayer m_videoPlayer;
    private RenderTexture m_videoRT;   // Der VideoPlayer dekodiert das Video hier (GPU)
    private Texture2D m_frameTex;      // Der aktuelle Frame wird hierher kopiert und dem Decal zugeführt
    private bool m_videoReady;
    private long m_lastVideoFrame = -1; // Der zuletzt an das Decal übergebene Frame-Index

    void Start()
    {
        if (m_manager == null || string.IsNullOrEmpty(m_filePath))
        {
            Debug.LogError("[VideoStreaming] m_manager oder m_filePath ist nicht zugewiesen.");
            enabled = false;
            return;
        }

        // 1) Die Render-Pipeline auf den PC-Einzel-Szenen-Editor-Modus initialisieren
        m_manager.SetPlatformType(PlatformType.PC);
        m_manager.SwitchRenderPass(ActiveRenderMode.SingleRender);
        m_manager.SetEditorMode(true);

        // 2) Parallel zum Szenenladen mit der Dekodierung des Videos beginnen
        SetupVideo();

        // 3) Die Punktwolken-Szene laden und das Decal aktivieren (das Decal ist ein globaler Zustand; es nach der Bereitschaft der Szene zu setzen ist am sichersten)
        var renderer = m_manager.GetRender(this.transform);
        Debug.Log($"[VideoStreaming] Ladevorgang wird gestartet: {m_filePath}");
        renderer.Load(m_filePath,
            _ => { /* Fortschritts-Callback, im Beispiel ungenutzt */ },
            OnSceneLoaded);
    }

    /// <summary>Den VideoPlayer zur Laufzeit erstellen und mit dem Vorbereiten des Clips/der URL beginnen.</summary>
    private void SetupVideo()
    {
        m_videoPlayer = gameObject.AddComponent<VideoPlayer>();
        m_videoPlayer.playOnAwake = false;
        m_videoPlayer.isLooping = m_videoLoop;
        m_videoPlayer.renderMode = VideoRenderMode.RenderTexture;
        m_videoPlayer.audioOutputMode = VideoAudioOutputMode.None; // Demo: ohne Audio

        if (m_videoClip != null)
        {
            m_videoPlayer.source = VideoSource.VideoClip;
            m_videoPlayer.clip = m_videoClip;
        }
        else
        {
            m_videoPlayer.source = VideoSource.Url;
            m_videoPlayer.url = m_videoUrl;
        }

        // Den Frame-Puffer zuweisen, sobald die Auflösung bekannt ist, dann die Wiedergabe starten.
        m_videoPlayer.prepareCompleted += OnVideoPrepared;
        m_videoPlayer.Prepare();
    }

    private void OnVideoPrepared(VideoPlayer vp)
    {
        int w = (int)vp.width;
        int h = (int)vp.height;

        m_videoRT = new RenderTexture(w, h, 0, RenderTextureFormat.ARGB32);
        m_videoRT.Create();
        vp.targetTexture = m_videoRT;

        m_frameTex = new Texture2D(w, h, TextureFormat.RGBA32, false);

        m_videoReady = true;
        vp.Play();
        Debug.Log($"[VideoStreaming] Video vorbereitet: {w}x{h}, Wiedergabe.");
    }

    private void OnSceneLoaded()
    {
        Debug.Log("[VideoStreaming] Laden abgeschlossen, Decal-Projektion wird aktiviert.");

        // -- Basisprojektion: 5 APIs --
        // Der Texturinhalt wird in Update() von den dekodierten Frames getrieben; hier übergeben wir zunächst den aktuell verfügbaren Frame.
        if (m_frameTex != null) m_manager.SetDecalTexture(m_frameTex);
        m_manager.SetDecalOpacity(m_opacity);        // Gesamt-Deckkraft
        m_manager.SetDecalEdgeFade(m_edgeFade);      // Kantenüberblendung
        ApplyProjection();                           // Projektor-Pose (ruft intern SetDecalProjection auf)
        m_manager.SetDecalEnabled(true);             // Decal aktivieren (_DECAL-Keyword)

        // -- Verdeckungs-Culling: 2 APIs -- muss nach ApplyProjection erfolgen (die Tiefenkarte benötigt eine gültige Projektor-VP-Matrix)
        m_manager.SetDecalOcclusionSettings(BuildOcclusionSettings());
        m_manager.SetDecalOcclusion(m_occlusion);
        CacheOcclusionState();

        m_loaded = true;
    }

    void Update()
    {
        if (!m_loaded) return;

        // --- Video-Frame-Aktualisierung, vom Render-FPS entkoppelt ---
        // VideoPlayer.frame erhöht sich nur mit der eigenen Wiedergaberate des Videos. Selbst wenn die Szene mit Hunderten von FPS rendert,
        // bleibt der Index zwischen zwei benachbarten Video-Frames gleich, daher kopieren und übergeben wir die Decal-Textur nur dann erneut,
        // wenn tatsächlich ein neuer dekodierter Frame erscheint.
        if (m_videoReady && m_videoPlayer.frame != m_lastVideoFrame)
        {
            m_lastVideoFrame = m_videoPlayer.frame;

            // Die RenderTexture auf der GPU in die von der Decal-API akzeptierte Texture2D kopieren.
            // Dies läuft nur mit der Video-Framerate, daher sind die Rücklesekosten überschaubar.
            RenderTexture prev = RenderTexture.active;
            RenderTexture.active = m_videoRT;
            m_frameTex.ReadPixels(new Rect(0, 0, m_videoRT.width, m_videoRT.height), 0, 0, false);
            m_frameTex.Apply(false);
            RenderTexture.active = prev;

            m_manager.SetDecalTexture(m_frameTex);
        }

        // Verdeckung zur Laufzeit umschalten
        if (m_occlusion != m_lastOcclusion)
        {
            m_manager.SetDecalOcclusion(m_occlusion);
            m_lastOcclusion = m_occlusion;
        }

        // Wenn sich ein Qualitätsparameter der Verdeckung geändert hat -> die Struktur einmal übergeben
        if (!Mathf.Approximately(m_occlusionCutoff, m_lastCutoff) ||
            !Mathf.Approximately(m_occlusionBias, m_lastBias) ||
            m_occlusionFootprint != m_lastFootprint ||
            m_occlusionResolution != m_lastResolution)
        {
            m_manager.SetDecalOcclusionSettings(BuildOcclusionSettings());
            CacheOcclusionState();
        }

        // Projektor / Erscheinungsbild in jedem Frame aktualisieren, für bequemes Anpassen zur Laufzeit
        if (!m_updateEveryFrame) return;
        m_manager.SetDecalOpacity(m_opacity);
        m_manager.SetDecalEdgeFade(m_edgeFade);
        ApplyProjection();
    }

    /// <summary>Die Projektionsmatrix aus der aktuellen Projektor-Pose und den Perspektivparametern aufbauen.</summary>
    private void ApplyProjection()
    {
        Transform p = m_projector != null ? m_projector : this.transform;
        float aspect = m_aspect > 0f
            ? m_aspect
            : (m_videoRT != null ? (float)m_videoRT.width / m_videoRT.height : 1920.0f / 1080.0f);
        m_manager.SetDecalProjection(p.position, p.rotation, m_fov, aspect, m_near, m_far);
    }

    /// <summary>Die 4 Verdeckungsparameter in einer Struktur zusammenführen.</summary>
    private DecalOcclusionSettings BuildOcclusionSettings()
    {
        return new DecalOcclusionSettings
        {
            opacityCutoff  = m_occlusionCutoff,
            depthBias      = m_occlusionBias,
            footprintMaxPx = m_occlusionFootprint,
            resolution     = m_occlusionResolution,
        };
    }

    private void CacheOcclusionState()
    {
        m_lastOcclusion  = m_occlusion;
        m_lastCutoff     = m_occlusionCutoff;
        m_lastBias       = m_occlusionBias;
        m_lastFootprint  = m_occlusionFootprint;
        m_lastResolution = m_occlusionResolution;
    }

    private void OnDestroy()
    {
        if (m_videoPlayer != null) m_videoPlayer.prepareCompleted -= OnVideoPrepared;
        if (m_videoRT != null)
        {
            m_videoRT.Release();
            Destroy(m_videoRT);
        }
        if (m_frameTex != null) Destroy(m_frameTex);
    }

    // -- Bequeme Debug-Einstiegspunkte (Rechtsklick im Inspektor) --
    [ContextMenu("Decal an")]  private void DecalOn()  { m_manager?.SetDecalEnabled(true); }
    [ContextMenu("Decal aus")] private void DecalOff() { m_manager?.SetDecalEnabled(false); }
    [ContextMenu("Verdeckung an")]  private void OcclusionOn()  { m_occlusion = true;  m_manager?.SetDecalOcclusion(true);  m_lastOcclusion = true; }
    [ContextMenu("Verdeckung aus")] private void OcclusionOff() { m_occlusion = false; m_manager?.SetDecalOcclusion(false); m_lastOcclusion = false; }
}

if (m_videoReady && m_videoPlayer.frame != m_lastVideoFrame)
{
    m_lastVideoFrame = m_videoPlayer.frame;

    // Nur einmal zurücklesen und das Decal übergeben, wenn ein neuer dekodierter Frame eintrifft
    RenderTexture prev = RenderTexture.active;
    RenderTexture.active = m_videoRT;
    m_frameTex.ReadPixels(new Rect(0, 0, m_videoRT.width, m_videoRT.height), 0, 0, false);
    m_frameTex.Apply(false);
    RenderTexture.active = prev;

    m_manager.SetDecalTexture(m_frameTex);
}

// Rückgabewert: void
public void SetDecalTexture(Texture2D tex)