HBBTV / DSM-CC Datenkarusell im Audiotransponder 11053, was ist drin?

[carsten]

Auf dem neuen Audiotransponder gibt es ein "DSM-CC" Datenkarussell auf mpeg-ts-pid 0x881 (auf dem alten auch, aber durch die Umstellung habe ich mich jetzt näher damit beschäftigt und auch tvheadend angepasst, damit das überhaupt bei meinem Client landet).

Ich habe hier von Forenteilnehmern gelesen, daß sie eine "Slideshow" *ohne Internet* haben: Welche Art von Info wird denn da transportiert? Wird da sowas wie "Plattencover zu aktuell gespielten Liedern" bereitgestellt?

Anders gefragt: Lohnt sich die Mühe eine Implementierung zu bauen die die jpg, gif und PNG und ggf. plain HTML Daten herausholt und für ein Radio mit Display aufbereitet? Es soll autark sein, d.h. kein Internet benötigen, nur mit den Daten aus dem Satellitenstream. Gibt es evtl. schon GPL code der das macht (habe ich auf die schnelle nicht gefunden, *encoder* ja, decoder .. nein)?

Danke und Grüße,

Carsten

[sn0]

Ich habe den Stream von PID 0x881 (2177) mit dem SmartDVB TS Analyzer für ca. 2min mitgeschnitten.
Download, 14MB: https://drive.google.com/uc?export=down ... FQ0EEdPggP

Wenn man die .ts-Datei mit Wireshark öffnet, sieht man die DSM-CC Steuerungspakete und in den darauf folgenden Paketen erkennt man manchmal in der HEX-Ansicht deren Payload, sprich unkomprimierte JPEG Header (FF D8 FF) mit EXIF und Photoshop-XML Daten sowie den JPEG-footer (FF D9).

Da die Dateien leider immer wieder von Steuerungspaketen und/oder Nullbytes unterbrochen sind, habe ich bisher keinen Erfolg gehabt eine Grafik korrekt auszulesen.

Da beim googeln nach DSM-CC immer auch MHP erwähnt wird, grübel ich ob das einfach nur ein Überbleibsel einer lange vergangenen Zeit ist.
https://en.wikipedia.org/wiki/DSM_CC
https://web.archive.org/web/20090204063 ... ntro/dsmcc

[andimik]

Einfach einen Smart TV anmachen... Geht auch ohne Internet.

[Chris_BLN]

Sowas ist da drin - inzwischen durchaus sendungsbezogen: viewtopic.php?p=1610542#p1610542




Ein Blick hinein - zu mehr reichen meine datentechnischen Kenntnisse nicht aus:

Man könnte das freilich auch prinzipiell via AIT nachladen aus dem Netz. Wenn man sich anschaut, wie viele Endgeräte mit den mitgesendeten HbbTV-Inhalten nichts anfangen können (DVB-Kabelradios ohne Bildausgabe, nicht HbbTV-taugliche Receiver, nicht HbbTV-taugliche Fernseher) und wenn man dann noch berücksichtigt, dass es durchaus Leute gibt, die trotz HbbTV-tauglichem Fernseher die Funktion stillgelegt haben, weil sie den TV bewusst nicht am Internet haben oder - Senioren - gar kein Internet haben und sich nicht immer von der Startleiste nerven lassen wollen oder die die Funktion beim Radio stillgelegt haben, weil sie das Panel dunkel schalten lassen, wäre durchaus zu überlegen, diese Funktion, die offenbar nun auch beim TP 39 ca. 1 MBit/s frisst, zugunsten eines kompatiblen Audiostandards in hoher Qualität ins Internet zu verlagern. Also dorthin, woher sowieso das meiste beim HbbTV zu beziehen ist.

Auch wenns eine wirklich "nette" Funktion ist, zumindest, wenn programmbezogene Infos kommen.


Edit: habe mal einen Anfang eines JPEG aus dem Datenstrom rauskopiert mit DVB Inspector. Und das kommt dabei mit IrfanView heraus:

Habe es hier als PNG erneut gespeichert, weils nicht jeder Bildbetrachter anzeigt. Es ist offenbar progressive JPG mit 1280 × 720. Und ich habe wohl das langweiligste erwischt, was man erwischen kann.

[carsten]

Danke für die Antworten.

Ich habe beschlossen eine Implementierung zu beginnen. Mein bestehender Code kann jetzt schon die Datenblöcke die zu den einzelnen Modulen gehören CRC prüfen, lesen und grob interpretieren (Datenblock, Modul + Blocknummer). Die nächste Stufe ist die Module in den Speicher zu laden und von da anhand des geheimnisvollen BIOP Files auf Dateien und Verzeichnisse aufzuteilen und evtl. auf Platte zu schreiben oder ggf. im Speicher zu halten und bei Bedarf passend auszuliefern. Bei DMS-CC redet die ETSI Doku von CORBA und von Java MHP, das wirkt alles mächtig angestaubt

Ich finde es echt schön, noch Infos zum Radioprogramm zu haben (Radiotext, für den SWR und die Schweizer Programme habe ich das ja, Plattencover etc.) und lasse mich überraschen was mich alles erwartet. Ich habe zwar einen Smart-TV, aber keine Koax-Verbindung. Fernsehen ist hier IP only über einen PI mit KODI. (Selfsat SAT>IP -> tvheadend -> Kodi). Deshalb habe ich so ohne weiteres keinen Vergleich und danke für die Beispielscreenshots.

Bis zu meiner Anpassung von tvheadend ahnte ich nicht mal, daß es so einen Datenkanal gibt.

Grüße,

Carsten

[Chris_BLN]

Dieser Datenkanal frisst, wenn ich mich nicht bei der letzten Gelegenheit verguckt habe, bei der Vodafone (ex-KDG) auf 2 Kanälen jeweil satte 1 MBit/s. Einmal für alle Programme außer den Programmen des BR, einmal für die Programme des BR - die sind auf nem anderen Kanal. Habe ich mich da verguckt oder kann das jemand bestütigen? Das wäre nämlich oberscharf, dann würde die Vodafone 2 mal für alle Programme ausspielen, weil sie den Kanal nicht zerpflücken und aufteilen kann. Mithin wäre also doppelt soviel Datenrate okkupiert wie notwendig. Aus 1 MBit/s könnte man schon 7 Programme statt mit 192 kBit/s mit den originalen 320 kBit/s auskabeln...

[carsten]

Dieser Datenkanal frisst, wenn ich mich nicht bei der letzten Gelegenheit verguckt habe, bei der Vodafone (ex-KDG) auf 2 Kanälen jeweil satte 1 MBit/s. Einmal für alle Programme außer den Programmen des BR, einmal für die Programme des BR - die sind auf nem anderen Kanal. Habe ich mich da verguckt oder kann das jemand bestütigen? Das wäre nämlich oberscharf, dann würde die Vodafone 2 mal für alle Programme ausspielen, weil sie den Kanal nicht zerpflücken und aufteilen kann. Mithin wäre also doppelt soviel Datenrate okkupiert wie notwendig. Aus 1 MBit/s könnte man schon 7 Programme statt mit 192 kBit/s mit den originalen 320 kBit/s auskabeln...

DSM-CC ist recht gefräßig. Wobei man dazu sagen muß, daß das ja den ganzen Transponder "versorgt".

Eine Gegenüberstellung der nackten tvheadend MPEG-TS Ausgabe SWR1-BW "mit allem drin" (Also die Verwaltungssachen und den Sendernamen würde ich jetzt als "Elementar" ansehen" und wird von tvheadend ja "geputzt", aber DSM-CC (viel) und HBBTV (ganz wenig) bleibt wie es kommt). Aber 277 kByte/s sind schon knackig, das entspricht 2,2 MBit/s.

EPG+DSM-CC sind aber gemeinsam genutzt, die werden ja von allen Programmen geteilt.

Code: Alles auswählen

~/src/ts2shout>curl "http://localhost:9981/stream/channelname/SWR1%20BW" -o swr1-new.ts
  % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
                                 Dload  Upload   Total   Spent    Left  Speed
100 7347k    0 7347k    0     0   273k      0 --:--:--  0:00:26 --:--:--  277k
^C

Die Datenrate des nackten Audiostroms nimmt sich im Gegensatz dazu mit 128 kBit/s geradezu bescheiden aus:

Code: Alles auswählen

~/src/ts2shout>curl "http://172.16.0.4/radio/SWR1%20BW" -o swr1.mp4
  % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
                                 Dload  Upload   Total   Spent    Left  Speed
100  380k    0  380k    0     0  15646      0 --:--:--  0:00:24 --:--:-- 16003

Sowie ich mit meiner Implementierung weiter voranschreite, kann ich mehr dazu sagen. Im Moment sehe ich nur eine wüste Menge an Module und Block-Ids, die Mühe eines Vergleiches will ich aber noch nicht auf mich nehmen.

Die MPEG id des DSM-CC Kanals auf beiden Transpondern ("MDR" 10891 bzw. "SWR" 11053) ist aber die gleiche (0x881 = 2177).

Grüße,

Carsten

[Chris_BLN]

Wenn Du Dir SWR, WDR oder auf dem anderen TP (TP 61) RBB anschaust, solltest Du noch AIT finden, die online etwas referenzieren. Ich weiß nicht, ob das das Karussell bei diesen Anstalten ergänzt oder ob es das ersetzt.

Die 128 kBit/s reines AAC-Audio laufen brutto zu ca. 145 kBit/s auf, dazu noch teils bis zu 10 kBit/s RDS via Private PID.

Würde man den SWR-Hörfunk auf TP 19 bringen zum SWR-TV, hätte man auf TP 39 Platz, um alle anderen Programme in 320 kBit/s MP2 (Kulturwellen) und 224 kBit/s MP2 (alle anderen) sowie 448 kBit/s AC3 für die 3 Mehrkanal-Programme BR Klassik, WDR 3 und NDR Kultur umzustellen. Der SWR könnte völlig problemlos mit seinen Programmen das gleiche machen, ohne sein TV datenmäßg zu ruinieren. Und auf TP 61 wäre für MDR, hr und RBB eine vergleichbare Lösung mit etwas gutem Willen und ohne ruiniertes TV möglich. Da hätten alle was davon und niemandem täte es weh - außer, dass DVB-S1-Geräte wirklich "raus" wären. DBV-S2 und DVB-C wären aber alle tauglich. Die ARD könnte sich sehr viel Ärger sparen - ohne Kosten zu haben.

[Chris_BLN]

Ich habe jetzt nochmal die Daten aus obigem Karussell-Mitschnitt genauer angeschaut. Da ist weit mehr drin als die Logos der Programme von Transponder 39 (11053).

Im Angebot sind beispielsweise auch

oder

- also Programme, die gar nicht auf TP 39 senden.

Die größte Überraschung waren für mich aber

Ja hallo aber auch. Wie kommen die da rein? Wie wird das genutzt? Die Programme dazu laufen auf einem anderen Transponder.


Nicht gefunden habe ich hingegen die Programme des rbb, die, wenn hr und MDR drin sind, ja eigentlich auch anwesend sein könnten. Das heißt nicht, dass sie da nicht noch irgendwo drin sind, aber es könnte auch bedeuten, dass man nur über die programmeigenen AIT auf Transponder 61 arbeitet und nachlädt.

Gehen RBB-Logos ohne Internetanschluss?

[carsten]

Hallo miteinander,

Habe mal eine erste pre-alpha-Version gehackt und alle(s) (Bilder) die einfach nackig zugreifbar sind rausgedumped (Das Datenformat ist meiner Meinung nach ziemlich komplex verschachtelt und teilweise aneinander verkettet, daher kann man nicht alles ganz einfach herausholen und es fehlen noch Sachen).

Es ist total auf TV ausgerichtet, alle Senderlogos sind "Bildschirmfüllend" fürs TV gedacht, aber seht selbst.

Die Dateien sind technisch OK gedumped, aber meine Implementierung mangelt noch vollständig am Erfassen der Datenstruktur und der Zuordnung zu den einzelnen Streams. Dazu gibt es noch jede Menge ids die man da auswerten kann, aber ich wollte erstmal die Bilder sehen

So richtig cool ist das irgendwie noch nicht. Es gibt noch kleinere technische Probleme, aber im großen und ganzen kann ich mir die Daten herausholen

Der Stream war noch aus dem Testbetrieb aufgehoben (Mit dem bin ich jetzt schon per Du und weiß wo welches Element mit wireshark zu finden ist... )

Grüße,

Carsten

[Chris_BLN]

Danke! Das ist von TP 39 (11053)?

Interessant sind da drin nicht nur die D-Radios, sondern auch Unser Ding (SR), das ja nicht ausgestrahlt wird. MDR, rbb und hr sind auch nicht auf diesem Transponder, aber dennoch mit den Slides dabei. Dafür fehlen einige Programme, u.a. BR Klassik, hr2, SWR 2, WDR 3 (Warum die Kulturwellen?).

Ist ja ein netter Service, aber dadurch fehlt auch 1 MBit/s für Audio. Das weg, die EIT auf das Wesentliche reduzieren und die HbbTV-Texte des Fernsehens ins Internet verlagern - es wäre Platz für eine hochwertige und kompatible Hörfunkverbreitung.

[carsten]

Danke! Das ist von TP 39 (11053)?

Ja, genau. Das war der 11053, allerdings noch im Probebetrieb.

Die Datenübertragung überträgt sogenannte Module die aus Blöcken bestehen. Ein Modul ist ein"BLOBs" (ggf. mit zlib komprimiert) das eine verkette Struktur von "BIOP" (So heißt der "Magic-Value") enthalten. BIOP ist ein Format das man extra für HBBTV geschöpft hat und aus der CORBA Welt zu kommen scheint. Ein BIOP beschreibt Verzeichnisse + darin enthaltene Dateien ("dir"), Dateien mit Inhalt ("fil") die haben statt einem Namen aber nur eine id die man über das "dir" BIOP auflösen muß, Stream Events ("ste") und noch was (müsste ich jetzt nachlesen).

Die BIOPs werden gerne hintereinander in ein Modul gekettet. Im Moment kann mein code nur das erste file-BIOP extrahieren. Ich implementiere auf jeden fall noch "dir" um die Dateiennamen richtig zu bekommen, die Verkettung und die Zuordnung zu den Streams. Vorher halte ich mich mit einer Diskussion warum dieses oder jenes Bild oder so fehlt zurück.

Was ich jetzt halt noch gar nicht gesehen habe in den ganzen Daten sind irgendwelche spannenden Bilddateien die sich lohnen dynamisch einem Stream zuzuordnen. Ich sehe aktuell nur Senderlogos und ein png welches Steuerelemente und Rahmen enthält. Ich habe die 1280x720 Sender"bildschirme", HTML Code, zwei fette Javaskript Dateien (2x 80 kByte). Ah, es gibt noch ein json, welches ... das auch ein EPG enthält und viele URL Verweise.

Im jetzt produktiven Transponder scheinen weniger Bilder zu sein, "Unser Ding" habe ich jetzt nicht nochmal gesehen.

In den nächsten Tagen implementiere ich mal noch die Verkettung und "dir", dann kann ich beide Transponder gegenüberstellen. Auf den ersten Blick enthalten die die gleichen Daten.

Im JSON gibts auch extrawürste für bestimmte Fernseher

Die meisten Einträge sind in der Art:

Code: Alles auswählen

1156	
appid	"13.c8"
subid	0
url	"http://live.spcode.tv/diemaus.html"
name	"Die Maus"
icon	"img/app/1156.jpg"

[Chris_BLN]

Danke!

Schön, was es alles gibt. Nur leider keinen kompatiblen Audiocodec mehr...

[Chris_BLN]

Langsam beginne ich zu rätseln, woher dieses



gekommen ist. Sollte das wirklich dynamisch im Karussell gewesen sein? Der BR hat doch keine separaten AIT laufen bei seinen Programmen, über die ein Nachladen vom Server möglich wäre?

[andimik]

Und wenn du den Fernseher vom Internet trennst?