[0:00] Herzlich willkommen zum IT-Berufe-Podcast, dem Podcast rund um die Ausbildung in den

[0:08] IT-Berufen. In dieser Episode gibt es ein Interview mit Maurice Knopp über das Thema

[0:13] Big Data. Viel Spaß! Hallo und herzlich willkommen zur 165. Episode des IT-Berufe-Podcasts. Mein

[0:26] Name ist Stefan Macke und heute habe ich mal wieder ein Interview mitgebracht und zwar ein

[0:30] sehr spannendes zu einem Thema, was ich schon seit langem auf der Agenda habe, was wir unbedingt mal

[0:35] hier diskutieren müssen und zwar Big Data. Das ist was, was sicherlich für alle IT-Berufe relevant

[0:40] ist und gerade für den neu aufgelegten Fachinformatiker für Daten- und Prozessanalyse.

[0:47] Da ist es sicherlich besonders interessant, aber auch für alle anderen IT-Berufe ist

[0:50] sicherlich Big Data heutzutage ein Thema, ja, das sowohl in der Prüfung mal drankam,

[0:54] als auch sicherlich in der Praxis immer wieder oder immer relevanter wird in vielen Unternehmen,

[1:00] glaube ich. Von daher, schönes Thema heute und wir haben uns da sehr intensiv darüber unterhalten

[1:04] und ich habe mit Maurice einen tollen Gesprächspartner gefunden, der auch schon seit

[1:07] mehreren Jahren in dem Bereich arbeitet und nicht nur so ein bisschen oberflächlich was erzählt,

[1:11] sondern auch über die Praxis, wie man da vorgehen kann und ja, was es für Probleme gibt,

[1:15] welche Tools man einsetzt, etc. Also wünsche ich dir jetzt viel Spaß beim Interview.

[1:19] Ja, ich bin hier heute zusammen mit Maurice Knopp und wir wollen uns heute über ein ganz

[1:26] spannendes Thema unterhalten, nämlich Big Data und dahinter verbirgt sich sicherlich

[1:30] ein ganzer Haufen Zeug, über das wir heute reden können. Von daher bin ich schon ganz

[1:34] gespannt darauf, aber zu Beginn frage ich doch einfach mal Maurice, sag mal,

[1:38] wer bist du denn eigentlich und was machst du so? Vielleicht möchtest du dich mal kurz in

[1:40] ein paar Sätzen vorstellen. Sehr gerne, Stefan. Vielen Dank, dass ich heute in deinem Podcast zu

[1:45] Gast sein darf. Mein Name ist Maurice Knopp. Ich bin Softwareentwickler seit mittlerweile

[1:51] über 16 Jahren. Ich habe nachgezählt, das ist wirklich unglaublich und habe angefangen im

[1:56] Bereich Enterprise Software, also klassische Firmensoftwareentwicklung. Java ist so meine

[2:02] stärkste Sprache, damit habe ich am meisten gemacht. Komme so aus dem Backend-Bereich und

[2:09] beschäftige mich seit nun über vier Jahren mit dem Schwerpunkt Big Data Technologien.

[2:14] Ich habe Informatik studiert, den Bachelor von 2004 bis 2007 und den Master von 2008 bis 2010 in

[2:26] Medieninformatik und Wirtschaftsinformatik und bin seitdem beruflich tätig. Ich bin Freiberufler,

[2:33] das heißt, ich arbeite für unterschiedliche Unternehmen, auch in unterschiedlichen Funktionen

[2:37] und an unterschiedlichen Technologien, aber in den letzten zwei Jahren arbeite ich überwiegend mit

[2:44] GmbH aus Köln zusammen. Okay. Normalerweise stelle ich immer die Frage, was ist denn so deine

[2:50] Premiersprache für den Alltag? Aber das hast du, glaube ich, jetzt gerade schon mitbearbeitet.

[2:53] Also Java ist das, wo du dich so täglich mit herumschlägst. Genau. Also sowohl im Big-Data-Umfeld

[3:00] als auch in der Enterprise Softwareentwicklung, das mache ich immer noch, komme ich zumindest um

[3:07] Java nicht mehr drum herum, wobei im Big-Data-Umfeld sehr, sehr oft Python verwendet

[3:13] wird. Oft als, ich sage jetzt mal, Glue-Code-Programmiersprache, also das heißt,

[3:20] die einzelnen Libraries, die Modelle entwickeln oder so, sind in C implementiert oder in sehr

[3:25] hardware-nahen Sprachen, einfach um die Performance hochzuhalten und dann auch auf

[3:29] Grafikkarten ausgeführt zu werden oder so. Aber die Zwischenschritte werden dann eben mit Python

[3:35] umgesetzt. Also die einzelnen Libraries werden in ein Python-Programm eingebunden und man

[3:40] orchestriert sozusagen vorhandene Libraries, die es schon gibt. Ja, das kann man wahrscheinlich mit

[3:45] Python sehr gut machen. Ist ja so eine schöne, einfache Sprache zum Einstieg wahrscheinlich,

[3:49] weniger, wenig Syntax-Overhead, sage ich mal. Wenn du das mal so vergleichst, Java, Python,

[3:53] C oder andere Sachen, was ist denn dann deine Lieblingsprogrammiersprache? Kannst du das sagen?

[3:57] Jetzt sage ich was Provokantes und zwar, meiner Ansicht nach, wenn man eine vernünftige IDE,

[4:05] also eine integrierte Entwicklungsumgebung benutzt heute, macht die konkrete Programmiersprache gar

[4:10] nicht mehr so einen großen Unterschied aus, weil man so viele Vorschläge bekommt, Code

[4:17] Highlighting oder Autocompletion-Vorschläge, dass es im Grunde eher auf das Ökosystem ankommt und

[4:23] man gucken muss, welchen Zweck verfolge ich denn gerade und da wirklich würde ich die Technologie

[4:30] auswählen, die diesen Zweck am besten unterstützt. Also mache ich irgendwas hardware-nahes, würde

[4:34] ich C benutzen. Mache ich irgendwas im Big-Data-Bereich und es gibt Python-Libraries oder

[4:39] Libraries, die sich perfekt schon in Python integrieren lassen, würde ich das nehmen.

[4:43] Gibt's, das gleiche gilt natürlich auch für Java oder andere Sprachen, solange es nicht totale

[4:50] akademische Sprachen sind, also die wirklich nur in der Nische, Nische, Nische verwendet werden,

[4:56] habe ich da sozusagen keine Präferenz. Also ich bin mit Java am flüssigsten und kann es am

[5:01] schnellsten einsetzen, einfach aus der Gewohnheit heraus. Aber so eine Lieblingssprache versuche ich

[5:08] mir gar nicht zuzugestehen, weil ich weiß, das ändert sich eh nochmal im Laufe meines

[5:11] Berufslebens, weil da so viel im Fluss ist.

[5:14] Okay, das ist auch eine schöne Consultant-Antwort, glaube ich.

[5:19] Nee, also meine Antwort an deine Zuhörer wäre, seht zu, dass ihr mit einer IDE,

[5:26] ob das Visual Studio Code ist oder eine der JetBrains-IDE, die kostenpflichtig sind,

[5:31] das möchte ich explizit erwähnen, oder eine andere IDE, macht euch damit vertraut,

[5:36] weil wenn ihr die Werkzeuge aus dieser IDE wirklich versteht und dann nutzt,

[5:42] das spart hinten raus so viel Zeit, das ist ungefähr der Unterschied zwischen jemandem,

[5:46] der so mit zwei Fingern tippt und jemanden, der zehn Finger schreiben kann bei der

[5:50] Schreibgeschwindigkeit. So könnt ihr euch die Entwicklungsgeschwindigkeit innerhalb einer IDE

[5:55] vorstellen, wenn ihr die Werkzeuge da drin beherrscht.

[5:57] Okay, gut, damit kann ich leben. Ist ein guter Tipp. Ich persönlich finde es auch gut,

[6:02] dass man sich nicht auf eine Sprache festlegt und sagt, ich bin Java-Entwickler und dann nie

[6:05] wieder was anderes macht. Also ich kann damit gut leben. Trotzdem habe ich zum Beispiel auch

[6:09] eine Sprache, wo ich mir denke, die ist schon irgendwie ein bisschen cooler als die andere,

[6:12] von daher. Okay, aber das passt für mich, das ist in Ordnung.

[6:14] Ja, ist einfach modern wahrscheinlich. Also ich glaube auch C-Programme in den 90ern sehen

[6:21] anders aus als C-Programme heute, weil man eben andere Sprachkonstrukte verwenden kann. Also

[6:25] wichtig ist, dass eine Sprache lebt, dass das Ökosystem lebt, dass da neue Libraries dazukommen,

[6:31] dass sich das Gesamtökosystem weiterentwickelt und dass man da nicht auf ein totes Pferd setzt.

[6:37] Also ich glaube, das ist das Allerwichtigste, dass man da unterwegs ist, weil meiner Erfahrung nach,

[6:42] nach 16 Jahren kann ich das jetzt ein bisschen sagen, die Features, die wirklich gut sind und

[6:47] die irgendwo aufploppen, die werden eh übernommen. Also so Anfang der 2000er, Mitte der 2000er war

[6:53] Ruby on Rails richtig groß. Diese RAD, also Rapid Application Development Frameworks,

[6:59] dass man nur drei Klassen schreibt und man hat sofort eine Listenansicht und so weiter,

[7:02] das haben heute so viele Frameworks übernommen, weil die das einfach geklaut haben, was gut ist.

[7:06] Ja, dafür ist Open Source da, dass man das übernimmt, was funktioniert und das ist eben

[7:12] wichtig, dass man eine aktive Community hat, die solche Trends erkennt und dann eben für

[7:15] die eigene Umgebung mit umsetzt, dass man da weiterkommt.

[7:19] Das kann ich nur unterstreichen. Gerade die Rails-Geschichte, das war am Anfang der Mega-Hype,

[7:23] fand ich auch richtig gut, habe ich auch Spaß dran gehabt und inzwischen, ob ich es jetzt in Java

[7:27] mache oder Ruby, ist eigentlich fast egal, das Prinzip ist das Gleiche. Ja, da haben wir ja schon

[7:31] ein paar Sprachen gehört rund um das Thema Big Data, vor allem Java anscheinend habe ich auch

[7:36] schon öfter gehört rund um, ja, sage ich mal so Server-seitige Geschichten, wird halt viel noch

[7:39] auf statisch typisierte Sprachen gesetzt und bei Java vor allem auf Performance, aber auch Python

[7:44] hört man tatsächlich auch sehr oft und ich glaube, das ist auch schon mal ein guter Einstieg in das

[7:48] Thema Big Data. Jetzt hast du schon gesagt, da wird viel mit Python gearbeitet, wir können ja

[7:53] gleich mal gucken, warum man das mit Python vielleicht ganz gut machen kann, aber vielleicht

[7:56] klären wir zum Einstieg mal, was ist denn überhaupt Big Data? Wenn man dich jetzt fragt, Mensch,

[8:00] du machst auch hier seit vier Jahren Big Data, was ist das denn eigentlich?

[8:03] Was ist Big Data? Meistens kriege ich diese Frage gestellt, wenn ein Kunde, ich sage das jetzt mal

[8:11] aus den Consulting-Projekten, ein System erstellen will, was Daten verarbeitet und sich nicht sicher

[8:18] ist, ist das jetzt schon Big Data? Ja, also sind eine Million Zeilen in der Datenbank, ist das Big

[8:24] Data? Wann fängt das an? 50 Millionen Zeilen, 100 Millionen Zeilen und da muss ich sagen, da gibt es

[8:30] eine relativ klare Antwort und zwar Big Data fängt da an, wo du wirklich mit einer Maschine diese

[8:39] Daten nicht mehr verarbeiten kannst, also oder das wäre so astronomisch teuer, dass sich das nur

[8:44] noch die NASA leisten kann und ehrlicherweise muss ich sagen, heute sind das überwiegend DAX-Konzerne,

[8:50] die schon so viele Systeme im Einsatz haben und so viele Daten generieren, dass sich diese

[8:55] Technologien lohnen. Meistens, wenn diese Frage gestellt wird, muss ich sagen, nein, das, was du

[9:00] vorhast, ist kein Big Data Problem. Also Big Data ist in sehr, sehr kurzer Zeit, fallen sehr, sehr

[9:07] viele Datenpunkte an, also wir sprechen hier von 100 Millionen, 150 Millionen, Milliarden Datenpunkten

[9:13] am Tag, die irgendwie verarbeitet werden müssen, aggregiert werden zu einem Dashboard, was dann als

[9:19] Entscheidungshilfe, ja, vielleicht im Marketing verwendet werden kann oder woauf sehr viele Daten

[9:26] zusammenkommen und man Echtzeitentscheidungen treffen muss, Stichwort autonomes Fahren hier,

[9:30] so ein Auto ist vollgepackt mit Sensoren, die ja tausende von Daten pro Sekunden liefern und jetzt

[9:37] muss ich schnell entscheiden, ist das der Mittelstreifen oder ist das ein Fußgänger,

[9:42] muss ich bremsen und da kommen wir dann in Regionen, die eben interessant sind, wo man sagt,

[9:48] okay, wir haben es hier mit einem Big Data Problem zu tun. Es gibt auch die sogenannten

[9:53] vier Vs, die ein Big Data Problem charakterisieren. Die vier Vs sind englische Begriffe, da geht es

[9:59] um Volume, also einfach Datenvolumen, das habe ich eben schon gesagt, Variety, also die Vielfalt

[10:06] der Datenstrukturen, Velocity, die Geschwindigkeit, mit der die Daten erzeugt werden und Veracity,

[10:12] also die Wahrhaftigkeit der Daten, damit ist gemeint, wie hoch ist die Datenqualität, also man könnte

[10:19] sich jetzt zum Beispiel vorstellen, bei so einem sehr ungenauen Kennzeichenerfassungssystem, was

[10:24] vielleicht auf einer Autobahnbrücke montiert ist, was nur 60 Prozent aller Kennzeichen korrekt

[10:30] erkennt, da wäre die Unsicherheit sehr hoch und typischerweise in Big Data Systemen hat man oft

[10:36] solche Systeme, die Daten erzeugen, wo man sich aber nicht sicher sein kann, dass die auch korrekt

[10:41] und gültig sind. Gehen wir die vier Vs einfach mal durch mit einem Beispiel, Volume, okay, da kommt

[10:47] wahrscheinlich der Begriff Big Data ursprünglich her, man hat es mit extrem großen Datenmengen zu

[10:52] tun und diese Datenmengen können mit Standardwerkzeugen, also Standardwerkzeuge, damit

[10:59] meine ich normale Server, normale Unternehmensserver, die viele tausende Euro kosten, aber man kann sich

[11:05] vorstellen, irgendwann ist kein Server mehr groß genug, um diese, um das Datenvolumen zu erzeugen,

[11:12] um das Datenvolumen zu verarbeiten und man muss sozusagen die Datenmenge aufsplitten und mit

[11:18] mehreren Rechnern parallel die Daten verarbeiten und genau wenn das passiert, also wenn man diese

[11:22] parallele, massive, parallele Datenverarbeitung anstrebt, dann ist es ein sehr starker Indikator

[11:28] dafür, dass es sich hier um Big Data Problem handelt. Variety, die Vielfalt der Datenstrukturen,

[11:33] man kann sich vorstellen, große Daten, das können Videodaten sein, das können Textdaten sein, das

[11:39] können Bilddaten sein, das können einfach von Ad-Servern Klicks sein, also wenn ihr im Internet

[11:48] eine Webseite besurft, dann kann es sein, dass ein Werbeunternehmen im Hintergrund jeden Klick

[11:55] registriert und daraus eben versucht zu gucken, für welche Produkte ihr euch interessiert. Jetzt, wenn

[12:00] ihr viele Millionen Benutzer auf eurer Webseite habt, nehmt eine der Top 10 größten Webseiten,

[12:04] da kommt ganz schön was zusammen in kurzer Zeit. Die Daten können strukturiert sein, also sie können

[12:10] zum Beispiel schon tabellarisches Format haben oder gänzlich unstrukturiert sein, wie Fleece-Texte,

[12:15] E-Mails zum Beispiel. Das dritte V ist Velocity, also die Geschwindigkeit, da habe ich eingangs

[12:21] auch schon erwähnt, wenn Daten sehr schnell erzeugt werden, also bleiben wir mal bei dem Beispiel des

[12:27] autonomen Fahrens. Das autonome Auto ist vollgepackt mit Sensoren, die im Millisekundenabstand

[12:34] ausgewertet werden müssen. Ist die Geschwindigkeit der Situation gerecht? Steht niemand auf der Straße?

[12:40] Ist die Ampel grün? Befinde ich mich noch zwischen den beiden Spurstreifen und so weiter? Das muss

[12:46] alles in Bruchteilen von Sekunden verarbeitet werden und gegebenenfalls muss eine Entscheidung

[12:51] getroffen werden. Das Auto muss gegensteuern, wenn es die Spur verlässt und so weiter. Und ja, für

[12:56] Veracity oder Wahrhaftigkeit habe ich schon Beispiel gegeben, eben mit der Kennzeichenerkennung. Da gibt

[13:03] es relativ oft Probleme im Bereich der Objekterkennung. Also, wenn man zum Beispiel alte Bücher scannt

[13:10] und die Buchstaben erkennen möchte, OCR wäre hier das Stichwort. Jeder einzelne Buchstabe muss

[13:15] wichtig erkannt werden und ob das eine 0 ist oder ob das eine O ist, das ist gegebenenfalls kann

[13:21] das der Computer nicht genau auseinanderhalten und dann gibt es noch alle möglichen Nickeligkeiten,

[13:27] wenn man mehrere Datentöpfe zusammen integriert. Das ist übrigens sehr oft bei Big Data-Projekten

[13:33] der Fall, dass die Daten einfach inkonsistent sind. Die einen Daten sind in der Zeitzone

[13:40] Berlin aufgenommen, die anderen haben die Zeitzone UTC oder wieder andere Zeitzonen. Umlaute gibt es

[13:47] nur in deutschen Texten. Teilweise fehlen Daten. Daten sind doppelt vorhanden. Es gibt ungültige

[13:52] Daten, also irgendein Eintrag mit einem negativen Datum zum Beispiel. Das kann alles vorkommen und

[14:00] das muss man irgendwie oder da muss man Programme verschreiben, die eben diese Daten normalisieren

[14:06] und damit umgehen lernen. Okay, ich hatte bei der Vorbereitung aufgeschrieben, sag doch mal was zu

[14:11] den drei Vs. Es sind schon vier. Ganz spannend, weil in der IHK-Prüfung in der letzten, wo was

[14:16] gefragt wurde dazu, waren es tatsächlich noch drei und was da fehlte, war tatsächlich dieses

[14:19] Veracity. Das finde ich ja nicht sehr interessant. In Kundenprojekten kann ich ja sagen, das ist ein

[14:24] riesen Thema, mangelnde Datenqualität oder unzureichende Datenqualität. Da wird sehr viel

[14:30] Gehirnschmalz rein investiert, wie man diese Datenqualität erhöhen kann. Das kann ich mir

[14:35] vorstellen, weil das wahrscheinlich auch das Schwierigste ist, wo ich einfach nicht, keine

[14:38] Ahnung, 30 Euro daneben stellen kann und schwupp ist es besser, wie zum Beispiel bei Velocity oder

[14:42] sonst wo. Da muss man ja wirklich die Daten an sich irgendwie, ja keine Ahnung, qualitätssicher

[14:46] und da muss vielleicht wirklich ein Mensch drauf gucken, irgendwas bewerten oder so was,

[14:49] vielleicht mit KI oder ich weiß nicht was.

[14:50] Du musst semantisch verstehen, was das bedeutet. Also du hast ein Datenfeld, das heißt VKXT3,

[14:57] so und jetzt findet die Person, die weiß, was damals dort angelegt wurde. Also die Daten können

[15:03] total wichtig sein oder ein ganz wichtiges Kriterium darstellen für diesen Datensatz,

[15:08] aber du weißt es nicht. Also du bist richtig Informationsarchäologe und versuchst halt,

[15:13] diese ganze Information wieder zusammenzutragen, um überhaupt da ein Mapping hinzubekommen.

[15:17] Ist das denn, wenn wir schon bei dem Thema sind in der Praxis, wenn das viele Kunden als Problem

[15:23] sehen, gibt es denn da quasi fertige Lösungen oder ist das dann wirklich Handarbeit noch für

[15:27] Menschen, die sich dann was angucken müssen?

[15:29] Nein, da gibt es fertige Lösungen. Für Standardprobleme, die überall auftreten,

[15:33] gibt es fertige Lösungen, also Module, wenn du zwei Datensätze zum Beispiel synchronisieren

[15:40] möchtest, dass man die Zeitzone normalisiert, dass man Umlaute umrechnet, dass man ganz oft,

[15:45] dass man Benutzernamen to lowercase schreibt, damit man sie vergleichen kann. Sonst hast du

[15:50] einmal, hast du gegebenenfalls doppelte Daten, weil der User Account einmal mit großen Buchstaben,

[15:55] einmal mit kleinen Buchstaben angelegt wird und dann gegebenenfalls doppelt gezählt wird.

[16:02] Solche Normalisierungen, da gibt es Standardprodukte für, wobei ich auch sagen muss,

[16:08] in der Vergangenheit, also ich sage mal bis ungefähr 2019 gab es viele Standalone-Softwareprodukte,

[16:15] die das gemacht haben, also verschiedene Data-Warehousing-Lösungen oder auch auf der

[16:20] Apache Hadoop-Plattform, da kann ich gleich noch was zu sagen, gibt es viele Komponenten, die das

[16:25] machen. Seit 2019 etwa beobachte ich bei meinen Kunden verstärkt, dass alles in die Cloud bewegt

[16:33] wird. Also man installiert keine Tools mehr on-premise beziehungsweise im eigenen Rechenzentrum,

[16:38] sondern man bemüht sich erstmal um rechentliche Klärung, darf ich die Daten in der Cloud

[16:43] verarbeiten und wenn das der Fall ist, also wenn es sich nicht um extreme sensible Versicherungsdaten,

[16:49] Gesundheitsdaten handelt oder gar geheime Daten, dann ist meistens eine Cloud-Verarbeitung mit

[16:57] entsprechenden Verträgen der europäischen Anbieter möglich und dann werden nur noch

[17:01] Cloud-Werkzeuge verwendet dafür. Okay, das ist auch ein interessanter Hinweis,

[17:06] jetzt bin ich rein zufällig in einer Krankenversicherung mit den super schützenswertesten

[17:09] Daten, die es gibt. Also du sagst, auch wenn man es kann, sage ich mal, die meisten gehen in die

[17:14] Cloud wahrscheinlich aus dem Grund, dass man es dort einfacher skalieren kann vermutlich oder was

[17:17] ist da der ausschlaggebende Grund? Ja, wir haben ja eben über die 4Vs gesprochen und wenn man die

[17:21] mal so sich noch mal vor Augen führt, also Volume, Variety, Velocity, Veracity, dann schreit ja alles

[17:29] nach Cloud, also unbegrenztes Volumen habe ich in der Cloud. Variety, also die Vielfalt der

[17:35] Datenstrukturen in der Cloud habe ich sowohl NoSQL-Datenbanken als auch klassische SQL-Datenbanken

[17:40] und verschiedene andere Datastores kann ich damit abdecken. Velocity, Geschwindigkeit können viele

[17:46] Kunden nicht abschätzen, was da in Zukunft kommt, aber auch da bin ich in der Cloud, wenn das jetzt

[17:51] nicht super real-time ist, wie zum Beispiel in dem selbstfahrenden Auto, da müsste die Verarbeitung

[17:56] natürlich lokal erfolgen, bin ich da auch gut gerüstet und Veracity, also die Datenunsicherheit,

[18:03] die ja hat keinen Unterschied, ob man das im eigenen Rechenzentrum verarbeitet oder in der

[18:08] Cloud, aber generell passt die Cloud oder die Cloud-Infrastruktur einfach perfekt zu diesen

[18:14] Big-Data-Problemen. Massiv paralleles Rechnen auf parallelen Ressourcen, du kannst dir ja

[18:20] vorstellen, wenn du einen großen Datenschatz hast und du möchtest heute eine Auswertung machen,

[18:24] dann fährst du in der Cloud 100 Rechner hoch, die diese Auswertung machen, dann bist du mit der

[18:28] Auswertung fertig, dann fährst du die alle wieder runter, hast innerhalb von wenigen Minuten die

[18:32] Auswertung gemacht und bezahlst eben nur diesen riesen Fuhrpark für wenige Minuten und sonst

[18:38] kann der quasi wieder schlafen und im eigenen Rechenzentrum müsstest du die ganze Power

[18:43] selber vorhalten, also das oder Big-Data-Probleme, wenn die Daten in der Cloud verarbeitet werden

[18:49] dürfen, eignen sich einfach perfekt dafür und das haben auch alle großen Cloud-Provider, also

[18:54] Amazon, Microsoft mit der Azure Cloud und Google mit GCP erkannt, gar keine Frage.

[19:02] Jetzt gibt es nur die beiden Themen, Cloud und Big-Data, gut, die gibt es jetzt schon ein paar

[19:04] Jahre, aber gefühlt noch nicht ganz so lange, ich bin auch schon ein paar Jahre länger dabei,

[19:09] würdest du jetzt sagen, dass die Cloud oder die Möglichkeiten, die wir dadurch haben,

[19:12] jetzt auch Big-Data so ein bisschen vorangetrieben haben, dass dadurch vieles erst möglich war?

[19:16] Auf jeden Fall, die Einstiegshürde ist deutlich geringer, du musst dir vorstellen,

[19:20] früher, also viele Kunden haben, das ist eine bekannte Plattform, die Hadoop-Plattform

[19:27] eingesetzt, als Open Source gestartet von einem Mitarbeiter, der bei Google gearbeitet hat,

[19:34] der, ich glaube, Hadoop ist der gelbe Spielzeugelefant seines Kindes gewesen,

[19:38] deshalb hat er die Plattform so genannt und die Software Open Source, aber damit du massiv

[19:43] parallel rechnen kannst, brauchst du natürlich immer noch, musst du die Hardware kaufen,

[19:47] also du kannst die Software runterladen und installieren, musst aber 20 Server kaufen

[19:51] oder 40 oder 80, je nachdem, wie groß dein Problem ist und ja, wie das so ist,

[19:59] so ein Big-Data-Projekt, das startet mal klein und das wächst sich so nach und nach aus,

[20:04] wenn man dann auch mit den Möglichkeiten vertrauter wird, auch das könnte man noch

[20:07] machen, auch das könnte man noch machen, auch das könnte man noch machen und jeder,

[20:09] der IT-Projekte kennt, der weiß, dass man eigentlich mit der Infrastruktur immer ein

[20:13] bisschen hintendran ist.

[20:15] Und da die Software aber kostenlos war, war das kein Problem, plus waren die rechtlichen Rahmenbedingungen oft nicht geklärt, das heißt, man musste es in einem eigenen Rechenzentrum verarbeiten, aber dann ist Ende 2018 oder Anfang 2019, da bin ich nicht ganz sicher, wurde Hortonworks, das ist die Firma von Hadoop, also es gibt ja oft diese Open Source Software und dann einen kommerziellen Support zu der Open Source Software, die wurde von Hortonworks für die Hadoop-Plattform angeboten.

[20:45] Wurde von Cloudera, einem kommerziellen Ableger sozusagen, gekauft und damit wurde diese Open Source-Variante, die wird zwar noch weiterentwickelt, aber deutlich langsamer, plus, wenn du das jetzt betreiben möchtest und die aktuellen Updates verwenden möchtest, werden hohe Lizenzkosten pro Node fällig, das heißt, die Strategie von Cloudera ist, sich um die Top 100 Kunden dieser Plattform zu kümmern, die eben die Daten nicht in die Cloud laden können, weil sie wahrscheinlich rechtlichen Beschränkungen unterliegen,

[21:14] also im Banking-Bereich oder im Versicherungsbereich und alle anderen zahlen entweder diese hohen Lizenzkosten, also sind vierstellige Lizenzkosten pro Maschine, was natürlich dieses parallele Rechnen ein bisschen ungünstig macht in dem Fall und auf der anderen Seite hast du halt die Cloud-Infrastruktur, wo du pro Minute bezahlen kannst und es auch sehr, sehr günstig ist,

[21:36] also dieser Kauf oder diese Strategie von Cloudera für die Hadoop-Plattform oder für die neue Hadoop-Plattform, Lizenzgebühren zu verlangen, hat halt diesen Schwung Richtung Cloud nochmal deutlich verstärkt.

[21:51] Okay, jetzt haben wir schon die ganze Zeit gesprochen, was Big Data eigentlich alles so ist, was man da so, was da für Daten anfällt und was die Probleme dabei sind, aber für wen ist das jetzt eigentlich was? Du hast schon gesagt, so die Top DAX-Konzerne machen das, ist das nur was für große, riesen Unternehmen oder wann fange ich mit Big Data an oder was ist mein Anlass?

[22:09] Das wird runtertröpfeln, denn es ist ja so, also wir haben jetzt nochmal zur Rekapitulation das Big Data, den Big Data-Einsatzsweck so ein bisschen eingegrenzt und können dann sagen, okay, große Datenprobleme brauchen diese Big Data-Lösungen und große Datenprobleme entstehen heute da, wo sehr viele Daten erfasst werden und die verarbeitet werden müssen und das ist typischerweise bei Unternehmen mit Millionen von Kunden und Millionen von Berührungspunkten mit den Kunden.

[22:40] Aber generell steigt die Datenmenge ja global, das heißt immer mehr Systeme loggen Daten oder es fallen immer mehr Daten an, das heißt mittelfristig werden auch mittelständische Unternehmen auf jeden Fall Big Data-Lösungen einsetzen.

[22:56] Auf der einen Seite steigen deren Daten und die Anforderungen an deren Datenverarbeitung, auf der anderen Seite durch die Cloud-Plattformen wird die Einstiegshürde immer geringer, weil du nichts mehr selber kaufen musst, keine Hardware selber kaufen musst, du musst nur jemanden kennen oder haben, der sich eben mit den Cloud-Werkzeugen auskennt und kannst im Grunde sofort loslegen.

[23:17] Keine Installation mehr, das Patching übernimmt der Cloud-Anbieter, das Monitoring übernimmt der Cloud-Anbieter, du musst nur deine Daten zusammenstellen, hochladen und dann eben die Werkzeuge, die Cloud-Werkzeuge verwenden.

[23:31] So, das heißt, heute ist es wirklich in der Tat noch so, dass es überwiegend DAX-Konzerne sind oder Konzerne, die sehr viele Werbedaten, also Internet-Werbedaten verarbeiten möchten, mittelfristig wird das aber vermutlich jedes mittelständische Unternehmen betreffen.

[23:50] Ich kann dir ein Beispiel geben, das ist kein Big-Data-Problem, aber einfach, um mal zu veranschaulichen, welches Potenzial in der Datenauswertung liegt, also es heißt immer Daten sind das neue Öl oder der neue Treibstoff.

[24:05] Ein Projekt, was ich leider nicht selbst gemacht habe, aber ein Kollege von mir, da ging es darum, also dieses Industrieunternehmen hat Teile für ein Weltraumunternehmen gefertigt.

[24:17] Man kann sich vorstellen, das ist nicht günstig, diese Teile, und hat auf sechs Fertigungsstraßen diese Teile produziert und wusste, am Ende darf nicht mehr als zwei Prozent Ausschussware rauskommen, dann verdienen wir Geld.

[24:31] Also mehr als, wenn zweieinhalb Prozent der Teile am Ende defekt sind, haben wir ein Problem, wenn es anderthalb sind, verdienen wir Geld, alles ist gut.

[24:40] Und diese Geräte der Fertigungsstraße, da waren verschiedene Öfen dabei, verschiedene CNC-Anlagen, die hatten alle einen Netzwerkanschluss, wo man Daten abfragen konnte.

[24:52] Das wurde aber am Anfang nicht gemacht, die Maschinen wurden eingerichtet und die haben die Teile produziert und das lief erst mal so.

[24:59] Und irgendwann ist man hingegangen und hat eben gesagt, Mensch, die haben ja alle einen Netzwerkanschluss, komm, wir sammeln mal die Daten von den einzelnen Geräten.

[25:07] Okay, hat man gemacht.

[25:09] Dann näherte man sich irgendwann dieser Zwei-Prozent-Hürde bei den Ausschussteilen und hat gesagt, hm, lass uns doch mal in die Daten gucken.

[25:19] Dann hat jemand, der eben mit Big-Data-Werkzeugen umgehen kann, in zwei Wochen diese Daten eben zusammenaggregiert, geschaut und festgestellt, dass von den nahezu zwei Prozent Ausschussware, ich glaube über 90 Prozent aus Hochofen 4 kamen.

[25:35] Dann hat diese Firma den Hersteller von Hochofen 4 angerufen, dann wurde Hochofen 4 neu eingestellt und hinterher ist der Ausschuss auf 0,1 Prozent statt zwei Prozent gefallen, weil Hochofen 4 neu kalibriert wurde und fortlaufend die Daten ausgewertet wurden, um zu gucken, dass alle Parameter der Maschinen in den Toleranzwerten liegen.

[26:03] Das war ein Millionen-mehr-Geschäft für dieses Unternehmen und das zeigt eben, welches Potenzial man gegebenenfalls auf der Strecke lässt, wenn man sich die Daten nicht anguckt, die aber da sind.

[26:16] Da gehe ich davon aus, dass in den nächsten Jahren immer mehr Unternehmen diese Netzwerkschnittstelle der Industriegeräte oder auch anderer Komponenten anschließen werden, um ebenfalls solche Potenziale heben zu können.

[26:32] Ja, das war ein schönes, plastisches Beispiel. Da kann man sogar ein bisschen Geld dadurch sparen. Okay, meine nächste Frage wäre sonst gewesen, was ist mal so ein Standard-Use-Case, aber das hast du schon gut beantwortet, hervorragend.

[26:42] Das ist jetzt, mit Weltraumunternehmen habe ich persönlich nicht so viel zu tun, aber Use-Cases sind halt, gerade in der Werbeindustrie hat man sehr, sehr viele Ad-Server-Daten, also ich habe es eingangs schon erwähnt, wenn man auf Webseiten rumklickt, die Daten, was man angeklickt hat, welche Inhalte man angeklickt hat, die landen in sogenannten Ad-Server-Logs.

[27:05] Wenn du Millionen Leute auf der Webseite hast, hier kommen wieder DAX-Konzerne dann ins Spiel oder sehr, sehr große andere Webseiten, dann möchte man daraus sogenannte Cluster bilden, also was sind die User, die sich für gewisse Themenschwerpunkte interessieren, wer interessiert sich für Autos, wer interessiert sich für dieses Produkt, jenes Produkt, so und diese Aggregation, das ist auch ein klassisches Big-Data-Problem und das funktioniert, also kann ich nur sagen.

[27:33] Die einen Leute finden das gruselig, dass man sagt, okay, wir werten die Daten aus, die anderen, die überwiegende Teil sozusagen, der Kunde findet das eigentlich klasse, der sagt, ich interessiere mich nicht für Pampers, ich habe kein Kind, ich möchte keine Pampers-Werbung sehen, ich möchte Produktwerbung sehen zu Produkten, die mich tendenziell interessieren.

[27:52] Kann man es ganz allgemein so sagen, dass Big-Data, oder die Idee dahinter oder anders, was man da eigentlich macht, dass man einfach einen riesen Datenberg hat und man versucht daraus einzelne Informationen oder Schlüsse zu ziehen, also wird da immer etwas aggregiert, ist das meistens so?

[28:08] Ja, da muss man ein bisschen differenzieren zwischen dem, das Big-Data-Feld umfasst zwei Disziplinen. Das eine ist das Data Engineering und das andere ist das Feld Data Science und was du jetzt angesprochen hast, ist das Thema Data Engineering oder worüber wir überwiegend gesprochen haben, das heißt, heterogene Datentöpfe zusammenfassen, Verarbeitungsschritte planen, aus unterschiedlichen Datensilos einen großen sogenannten Data Lake zu machen,

[28:37] in dem dann alle Daten normiert vorliegen und man eben daraus dann weitere Analysen machen kann. Also, wirkliche Software Engineering mit Daten wird man als Data Engineering bezeichnen, das Stichwort hier ist ETL, Extraction Transformation Load, also man extrahiert die Daten irgendwoher, transformiert sie in das gewünschte Zielformat und lädt sie dann ein, also zum Beispiel in Tabellenform und dann gibt es auf der anderen Seite das Thema

[29:06] Data Science. Da geht es wirklich darum, aus diesen normierten Daten mittels statistischer Modelle, künstlicher Intelligenz, also neuronalen Netzwerken zum Beispiel und verschiedenen Hilfsbibliotheken eben Erkenntnisse zu gewinnen.

[29:24] Ich glaube, das kann man so sagen. Also, auf diesen bereinigten Daten fange ich jetzt an, nach Mustern zu suchen, nach Ausreißern zu suchen, nach, ja, also wie zum Beispiel in diesem Beispiel eben, dass der eine Hochofen scheint irgendwie, da scheint irgendwas quer zu sein, weil der produziert die ganzen Ausschussteile, dass man eben dieses Muster dann erkennt und daraufhin ist der Hersteller angerufen worden, um diesen Ofen neu einzustellen und das wäre so eine Data Science Aufgabe.

[29:54] Dass man sagt, von der ganzen Fertigungsstraße, wir sammeln die Betriebsstunden und die Betriebsvorfälle und wir machen eine Voraussage, wann welche Komponente kaputt geht.

[30:04] Es gibt bei vielen Komponenten, das kennst du vielleicht auch, zum Beispiel bei Festplatten, diese MTBF, Meantime Between Failure. Bei Massengütern gibt es im Grunde, weiß der Hersteller schon, dass nach so und so vielen Stunden ein Problem auftritt oder das Produkt wahrscheinlich ausfällt.

[30:20] Wenn das jetzt 24 7 in Betrieb ist, kann man das einfach hochrechnen, wann ist die Wahrscheinlichkeit größer, 50 Prozent, dass es ausfallen wird und kann sagen, okay, in drei Jahren fällt Teil XYZ aus und das passiert auf drei Fertigungsstraßen.

[30:35] Dann bestelle ich zwei Monate vorher schon mal drei Ersatzteile, weil ich weiß, die anderen werden kaputt gehen und wenn ich den Hersteller anschreibe und drei Ersatzteile auf einmal bestelle, dann spare ich vielleicht mehr, als wenn ich dreimal ein Ersatzteil bestelle in dem Moment, wenn es kaputt ist.

[30:50] Plus ich habe die Ausfallzeit nicht. Das ist zum Beispiel eine häufige Fragestellung bei Big Data Problemen. Also, dass man eine Voraussage macht, aufgrund der heute erfassten Daten für verschiedene Ereignisse.

[31:04] Die Trennung finde ich schon mal sehr interessant, weil das Data Engineering hattest du jetzt quasi zusammengefasst mit ETL. Das ist ein Begriff, den gab es ja auch schon vor 10, 20 Jahren, als wir mit Oracle sowas gemacht haben.

[31:15] Würdest du jetzt sagen, dass das heute immer noch wichtig ist, nur einfach auf einer größeren Skala, weil ich einfach viel mehr Daten habe oder ist eigentlich das Data Science das, was die meisten unter Big Data dann verstehen?

[31:25] Das ist total witzig, weil das Data Engineering oder das ETL, das gibt es relativ lange und der Sinn und Zweck ist auch noch genau der gleiche, aber du hast heute andere Werkzeuge, also die eben diese massive Parallelverarbeitung unterstützen und die teilweise die alten, erlernten Konzepte übernehmen.

[31:45] Also zum Beispiel Hive, ein Service aus dem Hadoop-Framework, der benutzt SQL, mit dem du Abfragen auf riesigen Datenbeständen durchführen kannst und es wird eine Menge Magic im Hintergrund laufen gelassen, damit dieser SQL-Statement in ein Map-Reduce-Programm konvertiert wird, was dann auf 500 Servern gleichzeitig die Daten aggregiert, zusammensammelt und dir wieder ein Ergebnis zurückliefert

[32:13] und du hast quasi nur eine SQL-Abfrage geschrieben, die aber 340 Terabyte an Daten durchsucht hat oder so. Kann man wirklich als Weiterentwicklung des klassischen Data Warehouse ETL sehen, also die Konzepte und Sprachen sind da noch gültig und im Grunde ist der Zweck der gleiche.

[32:31] Ich stelle halt aus verschiedenen Datenquellen einen Datentopf her oder mehrere voraggregierte Datentöpfe her, eben je nach Anwendungszweck. Im Big-Data-Umfeld gibt es das Konzept des Data Lake, das ist sozusagen ein großer Pool mit unfassbar viel Speicherplatz, wo ich erstmal alle Rohdaten rein importiere.

[32:55] Also alle Datenquellen, die ich bekomme, wenn man bei der Fertigungsstraße bleibt, ungefiltert, schreibe ich die erstmal in den Data Lake rein und sammle die dort. Und jetzt in einem zweiten Verarbeitungsschritt bediene ich mich dieser Rohdaten und mache verschiedene Aggregationen, auf denen dann zum Beispiel die Data Science Spezialisten ihre Modelle trainieren können, weil ich weiß ja gegebenenfalls noch gar nicht, welche Daten ich aus diesen Rohdaten dafür benötige.

[33:23] Also welche Daten, die ich heute sammle, brauche ich in einem Jahr. So und der Data Lake speichert erstmal alles in Rohdatenform. Muss man natürlich aufpassen. Das geht natürlich nicht immer. Jetzt kann man sich vorstellen, wenn YouTube jedes Video, was hochgeladen würde, endlos speichern würde in Rohdatenform, dann wird es irgendwann sehr, sehr teuer. Also da braucht man auch geschickte Konzepte, um da im Großen und Ganzen sinnvolle Kosten-Nutzen-Abwägungen durchzuführen.

[33:52] Okay, das finde ich spannend. Gut, Data Lake habe ich auch schon öfter gehört. Jetzt weiß ich auch, was es ist. Das ist schon mal gut. Würdest du dann andersherum sagen, wenn wir schon hören, es gibt quasi SQL als Abstraktion über MapReduce im Hintergrund, finde ich, finde ich auch sehr spannend. Kann man denn Big Data Sachen gar nicht mit diesen klassischen Datenbanken wie Oracle oder SQL Server oder so machen? Brauche ich dafür was anderes oder kann man das vielleicht doch auch mit den klassischen Datenbanken hinkriegen?

[34:16] Also wenn du es machen kannst mit klassischen Technologien, ist es kein Big Data Problem, weil du musst dir ja vor Augen führen, die Big Data Technologie ist komplexer als die klassische Technologie. Also ein Big Data Cluster ist mehr Administrationsaufwand als eine einfache SQL Datenbank. Das heißt, wenn du dein Problem mit einer einfachen SQL Datenbank lösen kannst, benutze die bitte.

[34:41] Das ist ja nicht, du musst ja nicht Big Data machen, weil das gerade hip ist und trendy, sondern weil du dieses Werkzeug einfach brauchst. Aber du kannst dir vorstellen, wenn du sagen wir mal eine Milliarde Datenpunkten am Tag bekommst und die Anforderung ist, Modelle, die über die letzten 18 Monate der Daten trainiert sind, zu erstellen.

[35:05] Dass du da mit einer klassischen Datenbank und sei der Server noch so groß einfach irgendwann nicht mehr weiterkommst. Und das musst du irgendwie aufteilen. Und dann kommen eben die Big Data Werkzeuge zum Tragen, die einfach sagen Okay, mache ich mit 1000 Maschinen parallel.

[35:20] Wird es noch größer, mache ich es mit 10.000 Maschinen parallel. Ich weiß die aktuellen Zahlen nicht. Facebook hat die mal veröffentlicht, so 2012, 2013 rum, haben es dann irgendwann wieder eingestellt, wo sie einfach gesagt haben, hier dieser Facebook Messenger, also diese einfache Chatfunktion, haben sie mit HBase, ist auch eine Big Data Technologie aus dem Hadoop Kontext umgesetzt.

[35:46] Und die hatten einfach 20.000 Maschinen, die nur für das Facebook Messaging da sind. Also bei Facebook Messaging hast du viele Vs, weil du hast A mal viel Volume und du hast B eine hohe Zeitanforderung. Die Message muss quasi sofort ausgeliefert werden, sonst macht es keinen Sinn mehr, wenn die Nachricht wie bei einer Brieftaube morgen ankommt oder so im Batch Prozess über Nacht zugestellt wird.

[36:10] Und ja, Nachrichten werden viele geschickt und bei Events, wenn die Leute über den Super Bowl diskutieren oder sowas, hast du sprunghaft mehr Daten als in anderen Zeiten vielleicht und das schaffst du nur noch mit Big Data Werkzeugen. Das gibt keine SQL Datenbank oder keinen einen Server, der das dann noch verarbeitet bekommt, egal wie viel Geld man bereit ist auszugeben.

[36:34] Okay, ja, das kann ich nachvollziehen. Da kommt eine Oracle vielleicht nicht mehr ganz hinterher. Aber wenn ich jetzt mal als Entwickler denke, ich denke noch in den klassischen Strukturen, relationale Datenbanken, habe da meine Oracle und denke jetzt dran, okay, jetzt habe ich einfach viel, viel mehr Daten, mache jetzt so ein bisschen Big Data, arbeite ich dann noch mit den mir bekannten oder zumindest ähnlichen Werkzeugen, du hattest gerade schon SQL genannt oder muss ich da auch aus Entwickler oder wie auch immer ich dann heiße, Data Scientist, muss ich da ganz andere Werkzeuge lehren, mit denen ich dann da arbeiten muss?

[37:01] Beides. Du hast immer diese, ich nenne es mal Compatibility Layer, die neuen Werkzeuge, die kommen oder die aufkommen, die versuchen natürlich möglichst viel Wissen, was in der Zielgruppe schon vorhanden ist, nutzen zu können, wie, wenn sich MapReduce Programme als SQL Query darstellen lassen, ist ja super, also dann brauchen wir, brauchen die Menschen keinen MapReduce mehr zu schreiben, was natürlich viel komplexer ist und es gibt verschiedene Dienste.

[37:30] Das ist ganz interessant, wenn man sich das anguckt, die zerlegen die Query, schreiben ein MapReduce Programm daraus, verteilen dieses MapReduce Programm über den Cluster, sammeln die Ergebnisse wieder zusammen, sortieren die Ergebnisse gegebenenfalls und liefern das wieder zurück, also diese ganze Kette kann man sich angucken auf der Hadoop Plattform und das ist natürlich toll, wenn man mit dem bestehenden Wissen direkt die neuen Werkzeuge einsetzen kann, das ist aber nicht immer so.

[37:55] Also zum Beispiel gibt es das Werkzeug Apache Spark, also es gibt es in der Cloud wie auch On-Premise kann man das nutzen. Das nutzt Scala als Entwicklungssprache, einfach weil es sich sehr gut eignet für den Zweck, weil man mit Datenobjekten arbeitet, Datenflüsse darstellt, sehr viele Lambda-Funktionen schreibt, das ist Scala einfach super nah und wahrscheinlich die Leute, die das ursprünglich entwickelt haben, waren Scala-Fans.

[38:24] Das könnte ich mir vorstellen, sodass man das, wenn man Scala kann, ist das gut, aber man muss trotzdem dann noch den Umgang mit den Big-Data-Konzepten, also RDDs, Resilient Distributed Dataset lernen, um da eben außergekräftige Programme mitschreiben zu können.

[38:43] Da gibt es auch wieder Vereinfachungen, dass man SQL-Statements innerhalb dieser Scala-Programme schreiben kann, aber es kommt häufig vor, gerade wenn man etwas optimieren will, dass man einfach tiefer einsteigen muss, um dann diesen Layer der Konvertierung von SQL zum Map-Reduce-Programm oder zum Spark-Programm, dass man den im Grunde selber verstehen muss, um selber seine Query so zu optimieren, dass die durchgeht.

[39:09] Damit haben wir beim Kunden mal eine Laufzeit-Reduktion von über 60, 70 Prozent erzielt, dadurch, dass wir die SQL-Statements getauscht haben gegen ein Scala-Programm, was aber genau dediziert nur die Umwandlung macht, die wir brauchen.

[39:24] Okay, krass. Ja, das vergleiche ich jetzt mal so ein bisschen, auch auf einer klassischen Oracle kann ich ja, wenn ich mich nicht auskenne, keine Ahnung, mache ein falsches Select oder frage eine Spalte ab, wo kein Index drauf ist, mache ich so einen Full-Table-Scan und lege die Daten mal klar. Das kann mir auch passieren, auch wenn ich SQL beherrsche quasi. Das ist dann wahrscheinlich hier vergleichbar. Ich muss halt die Tools einmal lernen und vor allem, ganz wichtig wahrscheinlich auch vor allem, die Konzepte dahinter verstehen, sonst kann ich es ja nicht richtig anwenden.

[39:46] Also du kannst zum Beispiel in dem Hive, so heißt die Library oder die Komponente, die die SQL-Statements zu MapReduce-Statements konvertiert, kannst du keine Inserts machen.

[39:59] Weil du hast diese riesigen Daten und die sind ja eigentlich gar keine Tabelle, sondern aus dem SQL-Statement wird eine Abfrage gebaut und Insert macht halt keinen Sinn, wo du hast keine Tabelle, also kannst du da nichts.

[40:14] Anfügende. Es gibt so ein paar Tricks, wie du es doch machen kannst, aber im Grunde alle Ergebnisse, die du von Hive zurückbekommst, schreibst du in eine neue Tabelle und überschreibst dann auch wieder die neue Tabelle, wenn du das machen möchtest.

[40:26] Und das, je nach Datenmengen, dauert dann eben auch so lange. Und du kannst aber geschickt über mehrere Nodes die Daten auch im Arbeitsspeicher halten und dann werden die zusammengewürfelt und werden genau aufgeteilt auf den Gesamtarbeitsspeicher der einzelnen Knoten.

[40:43] Und diese ganze Magic, die da im Hintergrund passiert, die nimmt dir normalerweise der Cluster ab. Und in der Cloud nimmt dir die Cloud-Umgebung das ab. Und da sind schon sehr viele Abstraktionsschichten im Spiel dazwischen.

[40:55] Ja, viele Abstraktionsschichten. Das war ein gutes Stichwort. Das heißt, das Ding ist natürlich auch ein komplexes Thema. Da kann man bestimmt nicht einfach mal eben so mit anfangen, mit einsteigen. Was würdest du jetzt sagen, sind vielleicht so ein paar technische oder auch gerne organisatorische Herausforderungen, wenn ich mit Big Data anfangen möchte?

[41:13] Jetzt als Entwickler oder von der Unternehmensperspektive?

[41:18] Machen wir gerne als Entwickler oder allgemein als ITler. Könnte ja auch sein, wenn ich Admin bin und ich habe eine Datenbank, dann habe ich ja vielleicht auch ein bisschen was damit zu tun. Wie kann ich in dieses Thema einsteigen oder beziehungsweise anders, was sind denn vielleicht häufige Probleme, wenn ich damit einsteigen möchte?

[41:31] Okay, aus der Entwicklungsperspektive sollte man jetzt generisch erstmal eine Affinität haben zu eher Backend-Entwicklung oder Datenentwicklung. Das heißt, es gibt viele Frontend-Entwickler, die auch gerne sehen, was sie implementieren.

[41:47] Wenn du Datenentwickler wirst oder Data-Engineer, Data-Scientist wirst, dann wirst du dich sehr viel gedanklich mit Daten beschäftigen und am Ende purzelt ein Dashboard oder eine Visualisierung raus. Also, musst sehr viel Abstraktionsvermögen mitbringen, sagen wir mal so. Und gerne knobeln.

[42:05] Also, ja, das ist wirklich ein typisches Projekt. Ich gebe einfach mal einen Einblick für die Zuhörer, die überlegen vielleicht, sich mit Big Data näher zu beschäftigen oder auch das beruflich verfolgen wollen, was super spannend ist.

[42:19] Am Anfang, man ist quasi Sparringspartner mit dem Unternehmen oder mit dem Kunden, weil man erstmal verstehen möchte, was möchtest du eigentlich lösen? Welche Fragestellungen möchtest du lösen? Welche Daten hast du überhaupt? Welche Datenquellen hast du überhaupt? In welcher Güte liegen die Daten vor?

[42:39] Und dass man das sozusagen als Eingangsgröße nimmt und als Ausgangsgröße ist das Wunschziel vom Kunden oder vom Unternehmen und dazwischen alles, was dazwischen liegt, liegt eigentlich in den eigenen Händen. Also, dass man eben sich dann überlegt, wie bereite ich die Daten auf? Wie verarbeite ich die zeitnah? Das ist immer ein großes Thema.

[43:02] Dann, wenn ich Data Scientist werden möchte, möchte ich mich gerne mit Statistik beschäftigen, mit Datendeutung, auch mit Visualisierung von Daten. Das ist ein ganz, ganz wichtiges Thema, weil die eine Sache ist, Muster in den Daten zu finden, die du als Wissenschaftler entdecken kannst.

[43:20] Die andere Seite ist, das dann eben grafisch so aufzubereiten, dass es auch Leute verstehen oder Entscheider verstehen, die sehr weitreichende Entscheidungen auf Basis dieser Daten oder dieser Visualisierung treffen müssen und deshalb eine möglichst einfache Visualisierung benötigen, weil sie das ja selber wieder als Argumentationsgrundlage brauchen, um ihre Vorgesetzten oder so zu überzeugen.

[43:46] Da kann man kurz reinsteigen, weil man hört ja öfter oder ich habe das schon öfter gehört, wir haben da was in so ein neuronales Netz gekippt, haben keine Ahnung, was passiert. Am Ende kam was raus. Ist das jetzt hier schon oder geht das schon in die Richtung? Kann ich dann überhaupt als Mensch nachher noch nachvollziehen, was da rausgekommen ist oder ist das gar nicht mehr nachvollziehbar?

[44:03] Das ist das Thema, das wäre Data Science, also du benutzt in den allermeisten, ich sage dir mal, wie es in der Praxis gemacht wird, in den allermeisten Fällen hast du einen Strauß von Bibliotheken oder Modellen, also ob das Random Forest ist oder K-Means oder einen ganzen Werkzeugkoffer voll und du guckst jetzt, diese Modelle eignen sich alle für bestimmte Einsatzzwecke und du guckst im Grunde, wie sehen da meine Daten aus?

[44:32] Könnte das funktionieren? Und dann versuchst du so ein bisschen das Modell mit den Daten zu füttern und im Grunde zu gucken, was da rauskommt und dann, und so wird es in der Praxis auch gemacht, einfach mit iterativ die einzelnen Parameter des Modells anzupassen.

[44:48] Ja, muss ich hier 7% geben, muss ich hier 10% geben und dann guckst du, was rauskommt, guckst du, was rauskommt, guckst du, was rauskommt und bis das Ergebnis ungefähr dem entspricht, was du erwartest oder auch, was du nicht erwartest.

[45:00] Was du jetzt sagst, okay, wir haben hier so ein neuronales Netz und da was reingekippt, ja, das passiert auch. Die Frage ist natürlich, was kippst du da rein? Hast du da 10.000 Fotos von Hunden und Katzen und das Netzwerk soll hinterher unterscheiden, ist das ein Hund oder ist das eine Katze oder hast du irgendwelche anderen Eingangsgrößen, Trainingsdaten, die du da hinterlegst?

[45:23] Das ist für mich, ehrlich gesagt, auch die eigentliche Definition von künstlicher Intelligenz, dass du ein Programm erschaffst oder ein Modell erschaffst, wo du was hinterher nicht mehr, wo du nicht mehr deterministisch sagen kannst, aha, der Computer hat so entschieden, weil, if else, Entscheidung ist so und so, sondern du trainierst ein Modell und du musst dich ein Stück weit auf das Modell verlassen und das ist für mich die Definition von künstlicher Intelligenz, wenn man das jetzt weiter treibt.

[45:51] Dass man das erste Mal im Grunde, man hat ein Programm oder ein Modell erschaffen und man kann hinterher nicht mehr sagen, okay, es hat jetzt die Entscheidung getroffen, das ist ein Hund aufgrund von Bild 67, sondern aufgrund aller eingeführten Daten hat es jetzt so und so entschieden und diese Modelle werden erstellt, die Parameter werden erstellt bis ungefähr die Ausgangsgrößen dem entsprechen, was man sich vorstellt.

[46:18] Wenn ich das nochmal vergleiche mit deinem Beispiel mit dem Hochofen vorhin, da könnte ich ja dann theoretisch am Ende wirklich noch nachzählen, wie viele kaputte Teile hinter dem Ofen rauskamen und dann quasi doch nachvollziehen und beweisen, dass es richtig funktioniert hat und das ist ja gar nichts, was ich nicht mehr nachvollziehen kann.

[46:33] Das ist einfach nur die schiere Masse der Daten, dass mit das Programm das abnimmt, aber ich könnte es theoretisch noch, ich könnte mich hinsetzen und es nachzählen und ich könnte es kontrollieren, ob es richtig ist.

[47:04] Das meine ich dann damit.

[47:06] Extend, wenn wir schon kurz den Exkurs machen zur künstlichen Intelligenz, hat Big Data viel damit zu tun oder ist das wirklich einfach hauptsächlich Mathematik anwenden und fertig oder ist das auch ein bisschen Magic, hattest du vorhin gesagt?

[47:17] Nein, also unten drunter ist es natürlich Mathematik, weil der Computer, das muss man sich, ist ein von Neumann Rechner, der kann nur Nullen und Einsen voneinander unterscheiden und das ist auch weiterhin so und das tut ein bisschen weh, wenn man sieht, was der Volksmund oder auch die Politik alles aus künstlicher Intelligenz macht.

[47:38] Es ist natürlich auch ein Buzzword, was, also wenn man heute einen Zigarettenautomat entwickelt, dann muss da künstliche Intelligenz draufstehen, damit das irgendwie sexy klingt und da reitet man natürlich ein bisschen auf dieser Trendwelle.

[47:51] Nein, was künstliche Intelligenz eigentlich bedeutet, für mich ist eben dieses, ich gebe einem neuronalen Netzwerk Eingangsdaten, viele, viele Eingangsdaten und tune die Parameter dieses Netzwerks und hinterher kommt etwas raus, was zu einem gewissen Konfidenzgrad, also zu einer gewissen Sicherheit 80, 90 Prozent ein Hund von einer Katze unterscheiden kann.

[48:14] Ich kann aber nicht mehr genau sagen, warum der dieses Bild jetzt als Hund erkennt oder dieses Bild als Katze erkennt, sondern das ist einfach trainiert worden. Irgendwann sah mal so ein Hund so aus oder eine Katze so aus und deshalb hat das System halt so entschieden.

[48:29] Also man kann hinterher von dem Modell nicht mehr darauf zurückschließen, welcher Eingang oder welcher Input zu dieser Entscheidung geführt hat. Das ist für mich die künstliche Intelligenz. Das heißt, im Grunde, wenn du ein Problem algorithmisch prozessierbar machst, es gibt hier Schachcomputer, die jede Partie, die je gespielt wurde oder jede Profipartie, die je gespielt wurde, analysiert haben und da die perfekten Züge ausgerechnet hat.

[48:51] Und gegen so ein neuronales Netz spielst du natürlich schlecht Schach oder hast kaum eine Chance. Und das wäre so, als wenn tausend Menschen tausend Gehirne zusammenstecken würden und alle Schachpartien akribisch studieren könnten und du quasi die Schwarmintelligenz aller dieser Gehirne auf einmal nutzen kannst.

[49:11] Und das ist das oder für mich der Punkt, wo ich sagen könnte, okay, hier ist wirklich was absolut Erstaunliches geschaffen worden, weil einfach ein Computer viel mehr Eingabedaten in viel kürzerer Zeit verarbeiten kann, als es das menschliche Gehirn kann, wenn das Problem mathematisch beschreibbar ist.

[49:30] Ja gut, für den Außenstehenden sieht es so aus. Oh mein Gott, wie ist das überhaupt möglich? Das ist ja wirklich Magie, die ganzen Milliarden Datensätze zu verarbeiten. Aber letztlich ist einfach nur viel Rechenzeit auf vielen Rechnern verteilt und am Ende kommt ein Ergebnis raus.

[49:41] Genau, Parameteroptimierung von linearen Gleichungen. Also das ist jetzt vereinfacht gesagt, aber so kann man sich das vorstellen. Ja, nur der Computer kann das halt sehr, sehr schnell machen. Und wenn die Inputdaten gut sind, das ist auch ganz wichtig oder damit steht und fällt im Grunde das ganze Modell, dann kann man eine sehr, sehr hohe Konfidenz, also eine Sicherheit, eine sichere Aussage am Ende davon ableiten.

[50:07] Es gibt ein Beispiel von einem Supermarkt, den möchte ich jetzt die Kette nicht nennen, aber die haben ein Experiment durchgeführt. Ich glaube, das ist auch relativ bekannt und haben eben Einkaufskörbe von Menschen, die schwanger sind, mit Menschen, die nicht schwanger sind, verglichen.

[50:24] Und haben dann verschiedene Parameter festgestellt, wo man sagen kann, ah, okay, wenn der Einkaufskorb so und so aussieht, dann ist das tendenziell eine schwangere Person, so und so ist es nicht eine schwangere Person und haben es dann umgedreht und haben quasi eine Prediction darauf laufen lassen und haben Leute erkannt, die schwanger sind, bevor die Leute wussten, dass sie selber schwanger sind anhand des Einkaufsverhaltens.

[50:46] Und das ist dann, wo die Leute sagen, okay, das ist jetzt künstliche Intelligenz, weil das nahe der Zauberei ist und das ist auch cool. Das muss man schon sagen oder dass man überhaupt diese Möglichkeiten hat. Jetzt gehen wir mal vom Einkaufsverhalten weg. Stell dir vor, das wendest du auf Krankheiten an.

[51:02] Also du hast irgendwie ein Verhalten, du weißt gar nicht, warum, aber irgendein Netzwerk würde schon erkennen, okay, so wie du dich verhältst, das deutet schon auf eine Krankheit hin. Und wenn wir jetzt was machen, dann hast du auch keinen negativen Effekt, bevor die Krankheit dann ausbricht oder so. Und da kommt auf jeden Fall noch was auf uns zu, dass man etwas weiß viel früher, als man das sonst erkannt hätte.

[51:25] Das heißt, wenn ich jetzt mal vergleiche Big Data und KI, dann ist Big Data vielleicht einfach eine Grundlage für viele KI-Sachen, die darauf dann aufbauen und aus den ganzen Daten irgendwas ableiten können.

[51:35] Genau. Du musst also hohe Datenqualität, Trainingsdaten führen dazu, dass du gute Modelle bekommst, die eine hohe Aussagekraft haben. Und im Grunde ist dieses Training der künstlichen Intelligenz sehr dem Training eines Menschen nachempfunden.

[51:53] Wenn ich dir jetzt hunderttausend Bilder von Hunden und Katzen zeige oder einem Baby, dann würde das ja auch lernen, Hunde und Katzen voneinander zu unterscheiden eben mit menschlicher Intelligenz, weil sich im Gehirn Strukturen entwickeln, die eben lernen, Hunden von Katzen anhand verschiedener Kriterien zu unterscheiden. Und nichts anderes machen neuronale Netzwerke auch.

[52:16] Ja, das grenzt es gut ab. Nicht, dass das immer zusammengeschnitten wird. Das finde ich gut. Ja, wo wir schon gerade bei Begriffsdefinitionen sind, hast du rund um das Thema Big Data noch andere Begriffe, die häufig fallen, die man vielleicht kennen sollte? Ich habe schon mitgeschrieben Data Lake zum Beispiel, Data Science finde ich auch gut. Ich habe hin und wieder mal gehört, Edge Computing, auch ganz fancy. Kannst du das vielleicht noch was sagen oder hast du noch andere Begriffe, die man so kennen sollte?

[52:39] Edge Computing hat einen Überschnitt mit Big Data, ist aber eigentlich ist nochmal ein eigentlicher Bereich. Edge Computing heißt einfach, dass die Edge, an der die Daten anfallen, also der Hochofen selber sozusagen in der Stelle, wo die Daten anfallen, dass sie dort direkt verarbeitet werden. Also bleiben wir mal bei dem autonomen Fahren. Du könntest jetzt vorne in dem Auto eine Kamera drin haben und die Kamera liefert einfach stumpf das Kamerabild zum Bordcomputer.

[53:09] Das wäre nicht Edge Computing oder die Kamera hat einen Chip, der das Kamerabild schon auswertet und feststellt, ich bin zwischen den Fahrbahnlinien oder nicht und gibt nur diese Information an den Bordcomputer weiter.

[53:24] Dann wäre das ein Edge Computing Device, weil die Kamera schon eine gewisse Intelligenz besitzt und nur die relevanten Daten für die in der Kette dahinter befindlichen Komponenten weiterleitet.

[53:35] Also und da kann man sich jetzt ganz, ganz verschiedene Szenarien ausdenken. Also oftmals ist es so, dass, wenn das möglich ist, man Edge Computing dann einsetzt, wenn man die Daten, die zu der Zentrale sozusagen geschickt werden, reduzieren möchte, um die nicht zu überfordern.

[53:55] Okay, so hatte ich es auch öfter gehört. Gerade diese Millionen Sensoren, die Daten, die da rauskommen, die kann ich halt nicht mal eben eins zu eins in die Cloud schicken, sondern ich würde das halt vorher aggregieren und dann ganz blöd gesagt nur noch die Summe hinschicken zum Beispiel, damit ich halt nicht so oft ins Internet funken muss.

[54:09] Genau, ein ganz blödes Beispiel ist bei einer Sicherheitskamera, die nur das Bild aufnimmt, wenn sie Bewegung wahrnimmt. Also die Überwachungskamera ist gekoppelt mit einem Bewegungssensor. Wenn der Bewegungssensor nicht anschlägt, dann nimmt die Kamera kein Bild auf oder alle fünf Sekunden ein Standbild.

[54:31] Und wenn der Bewegungssensor anschlägt, dann nimmt die Kamera fortlaufend auf, weil jetzt wird es interessant. Jetzt ist vielleicht ein Einbrecher in meinem Büro oder so. Das muss ich jetzt aufzeichnen, aber ansonsten brauche ich das ja nicht aufzeichnen.

[54:45] Ja gut, haben wir das auch geklärt. Dann passt das doch. Dann würde ich jetzt vielleicht mal ein bisschen in die Praxis schwenken. Hast du vielleicht mal so ein paar, ich weiß nicht, ob es Buzzwords sind, aber ein paar konkrete Schlagworte. Womit beschäftigt man sich als Mensch, der mit Big Data arbeitet? Welche Tools, Plattformen, Programmiersprachen hat man schon angesprochen? Was sind so die üblichen Werkzeuge, mit denen ich da hantiere? Kann man das allgemein sagen?

[55:07] Ja, also das Hadoop-Ökosystem hatte ich schon angesprochen. Wenn ich mich jetzt als junger Mensch zum Beispiel dafür interessiere, okay, ich möchte diesen Big-Data-Bereich, möchte ich besser kennenlernen und ich möchte mich vielleicht sogar entscheiden, ob ich eher in die Richtung Data Science gehe, das heißt, Daten auswerte und Modelle trainiere, die wiederum Aussagen treffen, oder ob ich eher im Engineering-Bereich unterwegs bin, das heißt, wie so ein Softwareentwickler auch,

[55:34] dass ich im Grunde Programme schreibe, die Daten aggregieren, in Richtung Data Engineering gehe. Das ist, glaube ich, eine wichtige Entscheidung, die man für sich treffen muss. Viele Wissenschaftler arbeiten im Bereich Data Science, viele Leute, die eher aus der Softwareentwicklung kommen, arbeiten im Bereich Data Engineering.

[55:50] Data Lake haben wir ja schon, als Buzzword haben wir schon besprochen, ist sozusagen die zentrale, der zentrale Datensee, wo alle Rohdaten idealerweise eingekippt werden, woraus ich mich dann bedienen kann. Das wäre zum Beispiel, wenn man jetzt nicht ans Edge Computing denkt, sondern einfach alle Rohdaten, die in einer Firma anfallen, erstmal wegspeichert, um dann darauf Analysen zu machen, dann würde man vom Data Lake sprechen.

[56:20] Von der Hadoop-Plattform, da haben wir auch schon drüber gesprochen, die Hadoop-Plattform ist halt ein Ökosystem mit verschiedenen Technologien, unter anderem Hive, um diese SQL-Abfragen auf großen Datenmengen durchzuführen. Dann gibt es noch Apache Spark, um sehr performante Programme auf großen Datenmengen durchzuführen, schneller als das mit der Hive-Technologie möglich ist.

[56:47] Man muss aber allerdings auch mehr wissen. Dann gibt es noch ganz viele verschiedene andere Bibliotheken in diesem Kontext. Ich habe mal so einen Blogpost darüber geschrieben, wenn du willst, schicke ich dir den Link, dann kannst du den in die Show Notes packen, über das ganze Hadoop-Ökosystem.

[57:02] Dann gibt es verschiedene Cloud-Services, zum Beispiel AWS oder GCP. In der Google Cloud heißt es zum Beispiel Dataproc. Ganz häufig sind diese Hadoop-Services dann in der Cloud nachgebaut worden, weil Hadoop eben so ein Erfolgskonzept war oder ein Erfolgsmodell da war, was auch breit verwendet wurde.

[57:26] Das hat man dann in der Cloud-Services implementiert bei Google, zum Beispiel Dataproc, was sich wie Hive benutzen lässt, also dass man auch dort SQL-Abfragen auf großen Datenbeständen durchführen kann.

[57:38] Darf ich nochmal einmal nachfragen? Du sagst gerade Data Lake, da schubst du dich alle Daten rein. Wie kann ich mir das dann vorstellen? Ist das eine große Hadoop-Datenbank oder was ist das für ein Ding?

[57:49] Hadoop als unterste Ebene nutzt das HDFS, also ein großes verteiltes Dateisystem, was über mehrere Server sich erstreckt, wo ich im Grunde blockweise Daten reinschreiben kann.

[58:05] Ich benutze es einfach wie ein normales Filesystem, aber es breitet sich über verschiedene Server aus, ist hochgradig ausfallsicher, ich kann Server rausnehmen, ich kann neue Server hinzustecken, im Grunde wie so ein NAS auf Steroiden bis Planet Size.

[58:21] Es gibt keine Obergröße von diesem Dateisystem. Früher war es so, dass man probiert hat, alle Daten, die im Unternehmen anfallen, erstmal auf dieses HDFS, also auf das Hadoop-Filesystem zu bekommen und dann die weiteren Services wie der SQL Service Hive oder Apache Spark greifen auf diesem Filesystem basierender drauf und können dann eben auf diese Daten zugreifen.

[58:49] Der Data Lake, das kannst du dir einfach vorstellen wie die größte Festplatte im Unternehmen, wo alle Daten, die ich verarbeiten will, du machst einen Ordner und schmeißt sie da einfach rein.

[59:01] Jetzt kommt in Europa die Besonderheit dazu, dass wenn es sich um Nutzerdaten handelt und die unter die DSGVO fallen, dass die nur 18 Monate vorgehalten werden dürfen oder je nach Einsatzzweck eben 18 Monate maximal vorgehalten werden dürfen.

[59:15] Das heißt auch da, wenn es sich um Benutzerdaten handelt, müssen die dann eben gelöscht werden, wenn man diese Frist überschreitet.

[59:25] Okay, verstehe. Gut, das machst du schon mal etwas zweistelliger. Dann hattest du vorhin noch gesagt, den sehr berühmten Ansatz Map Filter Reduce. Kannst du da nochmal kurz was zu sagen? Wie unterscheidet sich das zum Beispiel von SQL oder so?

[59:38] Ja, das ist ganz interessant, weil die ersten, also ich sage das Hadoop-System ist maßgeblich bei Google Anfang der 2000er entwickelt worden. Also es gab ein oder zwei Papers und irgendjemand hat gesagt, oh Mensch stimmt das Konzept, das finde ich super, das implementiere ich mal und ist dann, daraus ist dann Map Reduce geworden.

[59:59] Da geht es darum, dass bei großen Datenmengen im Grunde die Verarbeitung sich auf zwei.

[1:00:06] Arbeitsschritte konzentriert, die aber hintereinander verkettet werden können und das ist einmal Map und das ist einmal Reduce. Also Map ist, jeder Transformationsschritt ist ein Map-Schritt, also, wie kann man sich das vorstellen, du hast, sagen wir mal, eine Tabelle mit Milliarden Daten, du willst aber nur die, den Benutzernamen haben und den Zeitpunkt des letzten Logins, ja.

[1:00:33] Dann mapst du aus dieser großen Tabelle erstmal den Spalt über Benutzernamen und Zeitpunkt des letzten Logins und dann würde ein Reduce-Schritt kommen, der dann sagt, okay, filtere, such mir den Max-Wert des letzten Logins pro Usernamen.

[1:00:51] So, und diese Arbeitsschritte kannst du beliebig oft hintereinander verketten und dadurch kannst du sehr komplexe Abfragen entwickeln und früher, also vor 2010, bevor es diese SQL-Schnittstelle Hive gab, musstest du das von Hand, musstest du das Map-Reduce-Programm schreiben.

[1:01:09] Hat man dann irgendwann nicht mehr gemacht, als es diese Hilfsmethoden gab, weil es viel einfacher ist, eine SQL-Abfrage zu schreiben anstelle einem Map-Reduce-Programm, wo du wirklich zu Fuß die einzelnen Schritte runtergehen musst, aber das Grundprinzip ist immer noch diese, ja, diese zwei Schritte, also einmal Mappen, das heißt Datentransformation und einmal Reducen, das heißt Filterung von Daten, die man nicht brauchen kann

[1:01:37] und das kannst du beliebig verschachteln.

[1:01:39] Okay, aber es ist ja schon so ähnlich oder vielleicht ist es sogar das Gleiche. Ich kenne es jetzt zum Beispiel von der MongoDB, der Dokumenten-Datenbank, wenn man damit mal rumspielt, da gibt es ja quasi keine SQL, sondern schreibe ich JavaScript-Schnipsel, die letztlich ja genau das Gleiche machen. Ist das damit vergleichbar oder?

[1:01:53] Also, ich muss ehrlich sagen, ich habe mich ja in den letzten vier Jahren, musste ich Gott sei Dank nicht mehr händisch Map-Reduce-Programme schreiben, sondern ich konnte eben schon diese Abstraktionsschichten benutzen und beim Debuggen sieht man dann noch, wie das eigentliche Map-Reduce-Programm aussieht, von daher weiß ich nicht genau, ob es eins zu eins vergleichbar ist.

[1:02:12] Ich könnte mir aber vorstellen, dass die Konzepte schon ähnlich sind, auf jeden Fall. Du meinst wahrscheinlich nur die NoSQL-Schnittstelle von der MongoDB, dass du da eben, ja, Properties zusammenfaltest oder so. Ja, so würde Map-Reduce auch funktionieren, aber das ist ein sehr komplexes, wird ein sehr komplexes Programm und du musst auch sehr viel berücksichtigen, wie viel Arbeitsspeicher hat der einzelne Knoten, dass ich den nicht überlade, dass die Teilmenge geht auf den Knoten, die Teilmenge geht auf den Quoten, also man hat so ein bisschen Boilerplate.

[1:02:42] Code drumherum, um das Programm eben, ja, zu entwickeln und deshalb hat Google irgendwann auch gesagt, nee, das muss besser gehen, also am Anfang sind die Map-Reduce-Programme wirklich von Hand geschrieben worden und waren sehr fehleranfällig und man kann sich vorstellen, heute für 100 Millionen Datenpunkte klappt das, jetzt hast du irgendwann 250 Millionen, dann musst du halt wieder an das Programm ran und das irgendwie erweitern und das wollte man nicht machen.

[1:03:06] Also man wollte sagen, okay, wenn man einmal das Konzept deklarativ für das Programm quasi runtergeschrieben hat, dann möchte man Compile drücken und dann muss sich irgendeine andere Instanz darum kümmern, dass die Ressourcen entsprechend zugewiesen werden, ja und daraus ist dann das Hadoop-Ökosystem entstanden.

[1:03:21] Okay, wenn wir jetzt nochmal einmal zum Verständnis, ich habe jetzt also Hadoop-Riesen-Pfeilsystem, okay, habe ich verstanden, da sind jetzt einige Daten, die liegen, ich sage jetzt einfach mal pseudomäßig als Tabelle vor und andere sind irgendwie unstrukturierte Textdateien und jetzt gibt es Hive und ich kann ein SQL-Statement auf einmal gegen die Textdateien machen, das wird ja wahrscheinlich nicht funktionieren, fehlt da noch irgendwie ein Schritt oder?

[1:03:39] Da gibt es eine sogenannte virtuelle Tabelle, also die Textdatei, da kannst du ein Schema anlegen in Anführungszeichen und die wird dann auch wie eine Tabelle behandelt, so dass du die zusammen wirklich abfragen kannst.

[1:03:54] Meistens sind die Daten, die du in den Data Lake packst, haben ein Standardformat, also zum Beispiel CSV und wenn du das machst, hat das HDFS verschiedene Paketformate, ob das jetzt Paket ist oder ORC, also die Daten werden schon so abgelegt, dass redundante Daten dann dedupliziert werden, das heißt, das spart man im Grunde ein bisschen Speicherplatz.

[1:04:20] Doppelte Daten werden dann ausgefiltert und haben dann nur noch einen Pointer in dem Filesystem, das ist eine relativ ausgefuchste Technologie, auch mit Java entwickelt, das Ganze.

[1:04:32] Da kann ich mir vorstellen, wenn ich jetzt irgendwie ganz andere Daten habe, die es noch gar nicht vorher gab, dann baue ich da so eine Art Interpreter für die Daten und dann kann Hadoop auch das verstehen, kann man das so sagen oder?

[1:04:45] Du meinst jetzt für eine PDF-Datei zum Beispiel oder für ein Bild oder so?

[1:04:49] Ja, ein Beispiel, genau. Irgendwas, was das Ding noch nicht von Haus aus versteht, das kann ja durchaus mal sein.

[1:04:55] Dann würdest du das nicht mit Hive, also dann würdest du die Daten darauf ablegen, ja, aber die liegen einfach wie in einem normalen Filesystem, also wie auf deiner Festplatte eben auch, liegen sie einfach vor und dann kommt es eben auf das Programm an, was letztlich diese Daten dann eben konsumiert.

[1:05:13] Mit Hive, also diesem SQL-Tool, könntest du dann nicht zum Beispiel auf Bilder zugreifen, sondern dann müsstest du eben andere Libraries benutzen, die eben Bilddaten verarbeiten können oder da gewisse Features draus extrahieren aus diesen Bilddaten.

[1:05:26] Also Hadoop ist wirklich das Ökosystem, das Filesystem ist HDFS, so als unterste Schufe und dann gibt es verschiedene Services, die stapeln sich darauf, die verschiedene Funktionen übernehmen.

[1:05:38] Also dieser Blog-Post, da ist so eine Grafik ganz am Anfang, der verdeutlicht es eigentlich ganz gut.

[1:05:44] Okay, perfekt. Ja, pack ich auf jeden Fall in die Show Notes. Gut, dann sind wir noch beim Oberpunkt Tools. Jetzt hatten wir schon ein paar mal über Python gesprochen. Warum ist Python jetzt gerade bei Big Data so in aller Munde? Macht das irgendwas ganz besonders toll, warum man das gut hier einsetzen kann oder was ist da der Grund?

[1:05:58] Python ist vor allem deshalb in aller Munde, weil es gelehrt wird an vielen Universitäten und weil es sehr viele Libraries gibt, die sich dort einklinken können.

[1:06:09] Also warum jetzt Python genauso populär ist, ich nehme an, also die Sprache ist relativ leicht erlernbar, sieht clean aus und man kommt rein und in vielen naturwissenschaftlichen Fächern, auch wenn man Physik studiert, kommt man irgendwo an den Punkt, wo man Daten verarbeiten muss.

[1:06:25] Dann ist das einfach naheliegend, irgendeine Programmiersprache zu verwenden, die einfach und schnell erlernbar ist. Da kommt ja die Popularität von Python her und das heißt, der Einstieg ist sehr leicht und das Ökosystem da drum herum hat sich sehr stark entwickelt.

[1:06:42] Um nochmal bei dem Beispiel zu bleiben, wir haben ja eben über Spark gesprochen, also du kannst Scala-Programme schreiben, um auf sehr großen Daten Operationen durchzuführen in Spark. Es gibt aber auch den Wrapper PySpark, dann schreibst du in Python die Programme und das PySpark Modul übersetzt transparent für dich dein Python Programm in ein Scala Programm.

[1:07:08] Es kostet ein bisschen Performance, aber wenn der Job jetzt nicht super zeitkritisch ist, dann kann man das durchaus dafür verwenden. Meistens ist es ja auch so, man entwickelt eben, man kann ruhig PySpark zur Entwicklung benutzen und wenn dann ein Job fertig entwickelt ist und das Unternehmen sagt, ja das ist toll, das funktioniert für uns und das muss jetzt aber schneller funktionieren, dann fängt man an zu optimieren und dann schreibt man letztlich dann so ein Scala Programm, was das gleiche macht und dann quetscht man mehr Performance raus.

[1:07:36] Aber für die ganzen Standardjobs ist das völlig ausreichend, wenn man mit PySpark arbeitet.

[1:07:43] Das kann ich gut nachvollziehen. Stimmt, wenn man mal Physik studiert, muss man ab und zu auch mal was programmieren und so weiter, dann rutscht man halt so ein bisschen rein.

[1:07:50] Finde ich richtig krass in Biologie oder auch in Biotechnologie, das ist ein halbes Informatikstudium mittlerweile.

[1:07:58] Ja gut, man kann wahrscheinlich Moleküle nicht mehr per Hand zählen, da muss man irgendwas programmieren.

[1:08:03] Genau, also im Grunde nutzt man den Computer als Organersatz oder als großen Taschenrechner, um dann eben da, in Bereichen, wo sehr, sehr viele Daten eben anfallen, da noch den Überblick zu behalten oder eben Trend zu erkennen.

[1:08:18] Allgemein, würdest du denn sagen, dass Big Data und alles drumherum eher was für Studierte Informatiker ist oder meinst du, da kann man auch mit einer Ausbildung einsteigen oder ganz allgemein, wenn Studium, in welche Richtung, kann man Data Science schon studieren oder was würdest du sagen, wie kann man einsteigen, wenn das jetzt mein Berufswunsch wäre?

[1:08:35] Also es gibt tatsächlich den Big Data Studiengang, den habe ich gefunden, der ist aber relativ neu.

[1:08:40] Also was soll das heißen, alle Leute, die heute in dem Bereich arbeiten, haben den wahrscheinlich nicht studiert.

[1:08:46] Lass mich mal nachdenken, wie ich das sage, wenn du Data Scientist werden möchtest und das ist jetzt nur meine Erfahrung, Stand 2021, sind das sehr, sehr oft Leute gewesen, wirklich Wissenschaftler gewesen, oft promoviert im mathematisch-naturwissenschaftlichen Bereich, also Physik, Informatik, Biologie, die sich damit beschäftigen.

[1:09:09] Und wirklich wissenschaftlich arbeiten, also Daten auswerten, Statistiken auswerten, eben dieses Modelltuning machen und gar nicht so viel Software Engineering machen.

[1:09:20] Also die im Grunde einfach diese vorgefertigten Komponenten nutzen und hier Pandas, NumPy, die ganzen Libraries, die man da importieren kann und damit arbeiten und da wirklich versuchen, statistische signifikante Muster zu erkennen.

[1:09:36] Da würde ich sagen, in dem Bereich empfiehlt sich vermutlich ein Studium, weil es einfach 90% wissenschaftliche Arbeit ist.

[1:09:45] Im Bereich Data Engineering kann man auch mehr mit Hands-on-Mentalität zurende kommen.

[1:09:53] Also ich arbeite ja selber überwiegend in dem Bereich. Das ist fast wie ein Informatikstudium oder wie Softwareentwicklung, eben nur im Backend oder datenbasierte Softwareentwicklung.

[1:10:04] Also man entwickelt keine Websites oder irgendwelche Apps, sondern du schreibst halt Programme, die Daten transformieren, um Daten zu normieren, Währungen zu normieren.

[1:10:14] Ein super cooles Programm, was ich mal entwickelt habe, ist auf einem Server mit 1 Terabyte Memory war eine gigantische Hash-Map und die Daten lagen alle in Memory und wurden da verarbeitet, nahe Echtzeit.

[1:10:29] Und das hat man nur in der Geschwindigkeit, in der das gefordert war, ging das nur in Memory und das war auf jeden Fall der einfachste Weg, das zu bauen.

[1:10:37] Und das war schon cool, einfach so eine Architektur aufzubauen, die mit hunderten von Millionen Daten umgehen kann und nahezu in Echtzeit eine Antwort liefern kann.

[1:10:48] Also wirklich hat eine Menge Spaß gemacht und das ist aber nicht wissenschaftlich, sondern eher Data Engineering, also wirklich Engineering Disziplin, dass man eben Programme entwickelt, sich Konzepte überlegt, Programme implementiert, iterativ vorgeht und so weiter.

[1:11:04] Und da kann ich mir vorstellen, dass auch Leute mit einer Ausbildung auf jeden Fall da eine Passion zu haben, ganz klar.

[1:11:12] Ja, das ist für mich auch die zentrale Frage. Seit letztem Jahr gibt es den neuen Ausbildungsberuf, den Fachinformatiker für Daten- und Prozessanalyse und der hat die große Überschrift Data Science, also Big Data gehört auf jeden Fall auch dazu, auch zum Teil des Ausbildungsrahmenplans.

[1:11:26] Und da fragen wir uns alle eigentlich so, was soll der jetzt lernen? Also der kann schlecht ein wissenschaftliches Studium oder sowas ersetzen, aber das wird dann in diese Richtung gehen, dass ich vielleicht wirklich eher Python-Programme schreibe, die Lips zusammenstecke, wie du auch gesagt hast.

[1:11:38] Da werde ich mir wahrscheinlich keine Konzepte überlegen, sondern tatsächlich das Doing machen, die Umsetzung vermutlich.

[1:11:42] Genau, und das ist mehr ETL, also das ist mehr Data Engineering und Data Science ist wirklich, du lädst dir die Modelle rein, so ein Random Forest Modell und guckst, okay, oder du hast einen guten Überblick über die Modelle, die es gibt und die so als Tools verfügbar sind und jetzt hast du ein Problem, ein Datenproblem, was du irgendwie zu lösen versuchst und versuchst, dieses Problem in die Modelle reinzumappen.

[1:12:04] Also zu gucken, welches Modell kann denn hier signifikante Aussagen über dieses Problem treffen bei diesen gegebenen Ausgangsdaten.

[1:12:13] Und das probierst du einfach, dann änderst du ein paar Parameter, dann schaust du, was kommt raus, dann guckst du, habe ich ein Problem mit dem Overfitting, also Overfitting ist ein Fachwort, wenn du, sagen wir mal, ein Trainingsset von tausend Bildern Hunden und Katzen hast und du trainierst ein Modell und du machst zu viele Durchläufe, dann lernt das Modell sozusagen diese tausend Bilder perfekt auswendig, ist aber für alles andere nicht mehr zu gebrauchen.

[1:12:39] So, das heißt, sobald ein Pixel in diesen tausend Bildern nicht mehr an seinem Platz ist sozusagen, kann es keine Aussage mehr treffen oder keine valide Aussage mehr treffen und dann würde man von Overfitting sprechen.

[1:12:52] Also man hat im Prinzip das Modell so hart auf das Trainingsset trainiert, dass es für andere Bilder nicht mehr einsetzbar ist.

[1:13:03] Ja, das wäre wieder ein so ein weiterer Fachbegriff, der noch gefallen ist. Mal eine ganz allgemeine Frage, wenn ich mich jetzt einfach für das Thema interessiere, egal was ich für eine Vorbildung habe, hast du da irgendwie eine Empfehlung, ich weiß nicht, eine Buchempfehlung, einen Videokurs, irgendwas, wie kommt man da rein ins Thema?

[1:13:17] Auf jeden Fall. Also wenn man sich generell für Datenthemen interessiert, dann kann ich wirklich das Buch von Martin Kleppmann empfehlen aus dem O'Reilly Verlag Designing Data Intensive Applications, wenn man in Buchform lernen möchte.

[1:13:32] Das finde ich immer ganz gut, weil in Buchform werden Themen sehr ausführlich behandelt, vollumfänglich behandelt und man kann das gut strukturiert machen.

[1:13:40] Was man allerdings auch machen kann, und das ist gelebte Praxis, sind so Videokurse. Also zum Beispiel bei Udemy oder der Linux Academy gibt es ganz viele Kurse.

[1:13:51] Da möchte ich insbesondere den von Frank Kane hervorheben, der, damit habe ich super viel gelernt, der sehr, sehr plastisch und didaktisch sehr gut alle möglichen Ecken des Big Data Bereichs beleuchtet und auch wirklich in guter Sprache mit tollen Beispielen.

[1:14:10] Und das erklärt, der Kurs kostet glaube ich, wenn man den im Sale kriegt, 13 Euro und das lohnt sich auf jeden Fall. Also das ist wirklich, in der Praxis nutzt man viele Videokurse und die Bücher auch mehr zum Grundlagen legen und dann die Videokurse, um spezielle Tools sich schnell anzulernen. Das ist so aus meiner Erfahrung.

[1:14:31] Da fällt mir jetzt nur eine Frage ein. Also angenommen, ich bin jetzt in so einem mittelständischen Unternehmen, davon gibt es ja immer noch deutlich mehr als so Großkonzerne. Würdest du sagen, dass so Big Data im Unternehmen auch, ja wie sagt man so, als Graswurzel von unten hochkommt oder ist das eher was, was so ein Vorstand vorgibt und sagt, so wir machen das jetzt oder kann ich auch als einzelner Softwareentwickler, der so ein bisschen Interesse an Big Data hat, das im Unternehmen einführen? Wie würdest du das bewerten?

[1:14:53] Also es geht beides, was allerdings wichtig ist und da sehe ich fast so einen unternehmerischen Reifegrad, würde ich sagen. Manche Unternehmen erkennen die Wichtigkeit von Daten und manche sehen das so als lästige Zusatzaufgabe.

[1:15:08] Und ich glaube, in letzteren Unternehmen wird es sehr, sehr schwer, Begeisterung für das Thema aufkommen zu lassen, wenn man nicht so einen super Erfolg vorweisen kann, wie mit dem Hochofen von dem Beispiel, was ich eben sagte.

[1:15:22] Aber man braucht auf jeden Fall Unterstützung der Entscheidungsträger oder gar des Vorstandes, weil, da haben wir noch gar nicht drüber gesprochen, das ist aus meiner Erfahrung, sehr, sehr viele Unternehmen tun sich schwer, weil die Neuordnung der Daten oder wenn man so ein Data Lake zusammenstellt, bricht man ja alte Datensilos auf, die gegebenenfalls im Unternehmen vorherrschen.

[1:15:45] Und da kommen dann ganz oft Befindlichkeiten zum Tragen und dann wird es auch politisch, also die eine Abteilung will der anderen Abteilung nicht die Daten geben, weil die eine hatte immer schon die Hoheit und so ganz klassischer Ränkekampf hat man dann auf einmal.

[1:16:03] Und da braucht man einfach Unterstützung vom Vorstand oder jemandem, der genug Entscheidungsgewalt hat, der von oben dann sagt, wir machen das jetzt aber trotzdem und dann kann man wirklich auch tolle Ergebnisse erzielen.

[1:16:16] Ja, weil letztlich bei ganz, ganz vielen Arbeitsschritten im Unternehmen fallen Daten an. Die Daten kann man auswerten, da kann man was optimieren. Das bedeutet Veränderungen. Die Menschen tun sich manchmal etwas schwer mit Veränderungen, aber das wird die Veränderungen nicht aufhalten.

[1:16:30] Also irgendwann werden alle eine verbesserte Fertigung haben und dann muss man dann eben nachziehen oder man verschwindet. Also im Grunde bedeutet eine Big Data Strategie für ein Unternehmen nur das Bekenntnis dazu, fortlaufend zu prüfen, was man macht und besser zu werden und das Bestreben, daran besser zu werden.

[1:16:51] Okay, also das, was wir eigentlich seit Jahren noch in der Softwareentwicklung machen, da wollen wir auch immer besser werden und Continuous XYZ und jetzt übertragen wir das Ganze so ein bisschen auf die Daten und schauen mit anderen Brille drauf.

[1:17:02] Genau, aber es fallen immer mehr Daten an. Also wie eben Geräte, die früher keine Daten gesendet haben oder keine verwertbaren Daten gesendet haben, tun das heute und dadurch werden Prozesse eben trackbar und quantifizierbar.

[1:17:16] Du siehst halt der Durchlauf für irgendein Teil sind halt dreieinhalb Minuten und wenn ich das auf zweieinhalb Minuten gedrückt bekomme, dann kann ich direkt die Auswirkungen sehen.

[1:17:28] Oder auch, was ich häufig sehe in Unternehmen, ist, dass denen dann erstmal bewusst wird, so oh wir haben die Daten, ja ist ja super, dann haben wir aus Abteilung A haben wir die Daten und aus Abteilung B haben wir die Daten, wenn wir die übereinander legen, dann können wir ja eine ganz einfache Planung machen, weil sich das ja schon ergibt und auch diese ganze doppelte Datenhaltung wird dann reduziert und man hat eben auch die Möglichkeit, sogenannte Ad-Hoc-Abfragen zu machen.

[1:17:55] Also gerade mit dieser SQL-Oberfläche kann ich halt sagen, Mensch, mir ist gestern der Gedanke gekommen, wenn wir die Daten von Abteilung A mit den Daten von Abteilung B verknüpfen und das Abteilung C zur Verfügung stellen, dann wissen die ja schon, wie die Verkaufszahlen ungefähr im nächsten Monat aussehen werden oder welche Teile repariert werden müssen oder oder oder und das leisten halt diese Systeme dann, ja.

[1:18:22] Ja, das finde ich ein motivierendes Schlusswort, dass ich vielleicht auch als Einzelner da einsteigen kann, vielleicht sogar einen konkreten Use Case finde, wo ich, wo ich wirklich ein bisschen für das Unternehmen Geld sparen kann oder irgendwas, um zu zeigen, Mensch, das ist eine coole Technologie, da können wir drauf aufsetzen. Das finde ich, finde ich sehr cool. Haben wir rund um das Thema Big Data aus deiner Sicht noch irgendwas vergessen, was wir unbedingt noch ansprechen müssen oder haben wir alles durch soweit?

[1:18:43] Na vielleicht, also du hast ja hier den IT-Ausbildungs-Podcast, dass man einfach noch mal sagt, das ist ein super spannendes Feld. Die Ausbildung ist auf jeden Fall notwendig, um da Fuß zu fassen, aber auch wenn man in dem Bereich arbeitet, muss man sich eben kontinuierlich weiterbilden, wie überall in der IT, aber in dem Datenbereich passiert so viel.

[1:19:04] Ich habe jetzt gesagt, in den letzten zwei Jahren geht alles in die Cloud. Wir haben drei große Cloud-Provider, die alle da stark nach vorne drängen und sich mit Anwendungsszenarien und Technologien überbieten wollen und ja, es entstehen da neue, neue Technologien.

[1:19:21] Die Daten werden generell mehr, also es ist auf jeden Fall ein Wachstumsbereich. Die Unternehmen erkennen immer mehr, dass man die einzelnen Daten aus den einzelnen Bereichen auswerten kann und zusammenführen kann, um dann auch teilweise ganz neue Geschäftsmodelle zu kreieren.

[1:19:39] Also wenn man sich mal vorstellt, ich glaube so, dass das älteste Big-Data-Problem und es ist auf jeden Fall ein Big-Data-Problem, was gelöst wurde durch Amazon, ist, dass Kunden, die Produkt A gekauft haben, kaufen auch Produkt B, C, D. Das ist eine typische Recommendation-Engine, also da wird einfach nach Mustern geguckt in den Daten, welche Warenkorb-Zusammenstellung gab es.

[1:20:03] Und was könnte der Kunde jetzt auch gebrauchen?

[1:20:06] Und ich weiß jetzt nicht, wie die Conversion Rate auf dieser Funktion ist,

[1:20:09] aber das wird Amazon auf jeden Fall ordentlich

[1:20:12] und anderen Online-Stores auch ordentlich Zusatzumsatz bescheren.

[1:20:16] Und dieses Potenzial besteht halt für jedes Unternehmen,

[1:20:19] welches Daten verarbeitet und Daten speichert und eben auswertet.

[1:20:24] Ja, also ich glaube, du hast das

[1:20:26] ja, wolkige Thema Big Data heute ein bisschen greifbarer gemacht

[1:20:30] und runtergeguckt auf die Praxis, auf die Tools,

[1:20:32] vor allem auf diese Unterscheidung Engineering-Science, finde ich,

[1:20:35] finde ich sehr interessant, dass man auch da mal als ITler

[1:20:38] sich mal etwas Konkretes untervorstellen kann,

[1:20:40] was man vielleicht auch selber im Alltag mal anwenden könnte

[1:20:43] oder wie man überhaupt einen Einstieg findet.

[1:20:44] Also das fand ich wirklich sehr interessant.

[1:20:46] Und dadurch, dass es halt diesen neuen Ausbildungsberuf gibt,

[1:20:48] wird es das in den nächsten Jahren auch

[1:20:50] ja, in die Ausbildung einfach schaffen, dieses Thema.

[1:20:53] Und es wird auch in Prüfungen abgefahrt etc.

[1:20:55] Von daher fand ich es heute eine super Episode, mit dir darüber mal zu sprechen,

[1:20:58] so ausführlich.

[1:21:00] Ich sage jetzt schon mal vielen Dank dafür.

[1:21:03] Eine letzte Frage habe ich dann doch noch.

[1:21:05] Es ist, wie du schon angesprochen hast, ja, ein Ausbildungspodcast hier.

[1:21:08] Wie sieht es denn bei dir aus?

[1:21:09] Bist du auch in der Ausbildung tätig und hast da vielleicht noch irgendwo einen Tipp oder?

[1:21:12] Ich bin leider nicht in der Ausbildung tätig.

[1:21:14] Ich betreibe ja den Skillbyte-Technologie-Podcast

[1:21:20] und da haben wir sehr oft auch Weiterbildungsthemen

[1:21:25] zum Inhalt, aber ich habe keinen Azubi, muss ich ehrlich sagen.

[1:21:28] Nein, ich habe oft mit YouYour-Entwicklern zu tun

[1:21:30] und versuche da so viel Wissen wie möglich weiterzugeben,

[1:21:34] dass die auch da mehr und mehr reinkommen.

[1:21:37] Und das funktioniert auch sehr gut.

[1:21:39] Und aber ich habe jetzt keinen klassischen Azubi oder so.

[1:21:43] Aber wenn wir die Sicht einmal umdrehen,

[1:21:45] du wurdest ja auch in irgendeiner Form ausgebildet im Studium

[1:21:47] oder vielleicht auch im Unternehmen, wo du gearbeitet hast, wie auch immer.

[1:21:49] Hast du denn da vielleicht etwas, was dir besonders positiv in Erinnerung geblieben ist,

[1:21:52] was einen guten, wie auch immer, Mentor, Professor, Ausbilder aus deiner Sicht ausmacht?

[1:21:57] Ja, also generell, wenn man sich für das Thema Daten interessiert,

[1:22:01] das ist jetzt speziell, sollte man eher, ich sage mal so, auf das Backend schielen,

[1:22:06] also nicht unbedingt auf die ganzen Frontend-Technologien,

[1:22:09] das letzte JavaScript-Framework und wie das so Webseitenprogrammierung funktioniert.

[1:22:15] Das machen ganz, ganz viele Menschen, weil man direkt sieht, was man entwickelt hat.

[1:22:20] Datenthemen sind wirklich eher abstrakt.

[1:22:23] Bei mir, wie habe ich das gelernt?

[1:22:26] Also, ich habe schon sehr lange Software entwickelt

[1:22:29] und war dann auch immer eher der Backend-Entwickler,

[1:22:32] also wenig Frontend, obwohl ich das auch gemacht habe,

[1:22:35] aber meistens eben Datenstrukturen bereitgestellt und Anwendungslogik implementiert.

[1:22:43] Und da habe ich wirklich sehr, sehr viel über Bücher und Videokurse gelernt.

[1:22:47] Und ganz wichtig ist auch, keine Berührungsängste haben, einfach machen.

[1:22:53] Es gibt so viele Ressourcen da draußen und das Feld verändert sich so schnell,

[1:22:57] dass, wenn ihr ein bisschen Praxis habt, eine übungsvirtuelle Maschine runterladen

[1:23:03] oder bei der Linux Academy kann man direkt in so einer Cloud-Umgebung die Übungen durchführen.

[1:23:10] Keine Angst haben, das anzufassen, loslegen, gucken, wie es funktioniert.

[1:23:16] Und dann seid ihr sehr, sehr schnell auf einem Stand,

[1:23:19] wo ihr dann auch wirklich produktiv arbeiten könnt,

[1:23:21] einfach weil sich so viel bewegt, dass sich die Technologien schnell ändern.

[1:23:27] Erfahrung hilft ein bisschen natürlich, aber ich würde sagen,

[1:23:31] wenn man das wirklich möchte und sich mit Datenanwendungen beschäftigen möchte,

[1:23:36] dann kommt man da schnell rein.

[1:23:38] Sehr schön.

[1:23:39] Ja, das ist wie bei Programmierung, da muss man auch einfach mal was programmieren

[1:23:41] und nicht nur lesen oder Videokurse gucken,

[1:23:43] also einfach mal machen, ran, das finde ich gut.

[1:23:45] Das ist ein schöner Tipp.

[1:23:46] Ich würde dir noch einen Link mitgeben.

[1:23:48] Also ich habe ja auch einen Podcast, den Scalable-Technologie-Podcast,

[1:23:52] und da in Episode 14 habe ich darüber gesprochen,

[1:23:56] wie man Big Data oder Machine Learning-Projekte generell richtig angeht,

[1:23:59] also wie man Stolperfallen vermeidet, wenn man so ein Projekt machen möchte als Unternehmen

[1:24:04] oder wenn man Entwickler ist, wie man seinem Unternehmen helfen kann und es beraten kann,

[1:24:09] dass es nicht alle Fehler macht, die man am Anfang machen kann.

[1:24:14] Dann schicke ich dir den Link, kannst du gerne in die Shownotes packen.

[1:24:19] Und ja, dann denke ich, hat man auch schon mal so einen Booster,

[1:24:24] dass man nicht jeden Fehler mitnimmt und schnell auf den grünen Zweig kommt.

[1:24:27] Sehr schön. Ja, das packe ich gerne rein.

[1:24:29] Das ist dann die Überleitung zum letzten Thema.

[1:24:32] Du sagst es schon, du hast selber einen Podcast.

[1:24:34] Wenn man sonst jetzt vielleicht als Hörer oder Hörerin Interesse hat,

[1:24:36] das Thema vielleicht zu vertiefen, dich nochmal anzusprechen,

[1:24:39] kann man dich online irgendwie finden und erreichen?

[1:24:41] Gibt es da einen bevorzugten Weg?

[1:24:43] Ja, gerne. Also man kann mich, ich bin sehr naber,

[1:24:46] also gerne auf Xing oder LinkedIn einfach Moris Knopp, M-A-U-R-I-C-E-K-N-O-P-P

[1:24:52] hinzufügen und die Frage einfach stellen.

[1:24:55] Das ist mir am allerliebsten.

[1:24:57] Ansonsten, wer sich für den Podcast interessiert, kann einfach bei Google

[1:25:00] nach Skill Byte Technologie Podcast suchen.

[1:25:03] Skill wie Skill und Byte wie das Computer.

[1:25:05] Byte, nicht wie der Biss.

[1:25:07] Und ja, der Podcast ist über Spotify, Apple Podcast, Google Podcast,

[1:25:12] dieser YouTube und so weiter.

[1:25:13] Da werdet ihr uns schon finden.

[1:25:15] Genau. Und da geht es um Themen rund um IT-Fachkräfte und IT-Entscheider.

[1:25:21] Perfekt. Ja, kann ich meine Empfehlung direkt anschließen.

[1:25:24] Ich habe natürlich auch schon einige Episoden gehört.

[1:25:26] 12 Factor X Apps zum Beispiel habe ich mir da sehr im Detail angehört.

[1:25:29] Also absolute Höherempfehlung auch von mir.

[1:25:32] Ja, ist eher Engineering und nicht so viel Big Data jetzt die 12 Factor Apps,

[1:25:37] aber auch das Thema Cloud ist natürlich ein Riesen, ein Riesenthema.

[1:25:42] Das können wir in einer anderen Episode gerne besprechen,

[1:25:44] weil da auch super viel Bewegung ist und das auch für die Azubis heute

[1:25:48] oder auch für die Leute, die ein Studium durchlaufen,

[1:25:51] gibt es da keinen Weg mehr drumherum.

[1:25:52] Keiner möchte ein Rechenzentrum im eigenen Unternehmen haben,

[1:25:55] weil das sehr, sehr teuer, also wenn er nicht muss, weil das sehr, sehr teuer ist

[1:25:58] und komplex und man viele Dinge beachten muss, auch baulicher Natur.

[1:26:04] Und ja, die Cloud wird da äußere ich mich jetzt fast prophetisch.

[1:26:09] Die wird in zehn Jahren werden wahrscheinlich 90 Prozent, 95 Prozent

[1:26:13] aller Anwendungen im Cloud Rechenzentrum ausgeführt werden.

[1:26:17] Ja, das kann ich mir gut vorstellen.

[1:26:19] Wahrscheinlich bis auf die Krankenversicherung.

[1:26:21] Mal gucken, ich lasse mich überraschen.

[1:26:24] Nein, es gibt natürlich da auch schon Bestrebungen.

[1:26:26] Es muss ja nicht alles in die Cloud.

[1:26:27] Aber wenn es ein Online Rechner, Abschlussrechner auch,

[1:26:30] das gibt es in der Versicherung ja schon.

[1:26:31] Also von daher, genau, ist nur eine Frage der Zeit wahrscheinlich.

[1:26:35] Das ist einfach ein Trend, dieser Software-Eats-Hardware-Trend.

[1:26:39] Früher hattest du ein Walkman, ein Telefon, eine Kamera,

[1:26:44] ein GPS-Gerät und einen Kompass in der Tasche.

[1:26:48] Und heute macht das alles das Smartphone und die Software bestimmt, was du

[1:26:53] oder welche Funktion das Gerät übernimmt.

[1:26:55] Und genau das passiert halt auch in Unternehmen

[1:26:59] beziehungsweise mit Server-Hardware oder mit Unternehmens-Hardware.

[1:27:03] Früher hatte man Load-Balancer,

[1:27:06] Standard-Server, teure Datenbank-Server.

[1:27:10] Hast du nicht gesehen.

[1:27:11] Und heute, und da passt Big Data eigentlich perfekt,

[1:27:15] hast du einfach nur ganz, ganz viele Standard-Server

[1:27:17] und die Software sagt dem Server, was er ist, ob er eine Firewall ist,

[1:27:20] ob er ein Load-Balancer ist oder einfach ein normaler Anwendungs-Server.

[1:27:26] Und der Trend wird sich in der Cloud fortsetzen

[1:27:28] beziehungsweise da passt die Cloud perfekt auf dieses Problem.

[1:27:32] Ja, ich ziehe mal ein Fazit.

[1:27:34] Wir haben auf jeden Fall noch ein bisschen was zu tun in der IT,

[1:27:36] sei es Big Data, Cloud, meinetwegen auch noch ein bisschen Programmierung.

[1:27:39] Irgendwer muss die Python-Sachen ja auch noch zusammenstöpseln.

[1:27:41] Also von daher haben wir heute, glaube ich, viele spannende Sachen besprochen

[1:27:44] und vielleicht ist ja für den einen oder anderen Hörer oder Hörerin

[1:27:47] genau das Thema, das, was in der Zukunft dann vielleicht auch den Beruf

[1:27:51] ausmacht oder wo man sich auslassen will.

[1:27:53] Von daher, ja, vielen Dank für die Insights und für die Details

[1:27:56] und auch für die Begriffsklärung von vielen Sachen,

[1:27:59] die ich auch noch nicht so im Detail kannte.

[1:28:01] Hat richtig Spaß gemacht heute.

[1:28:02] Viel, viel Inhalt hier.

[1:28:03] Und ich sage auf jeden Fall vielen Dank.

[1:28:05] Und ja, vielleicht hören wir uns zum Thema Cloud noch mal wieder.

[1:28:07] Genau.

[1:28:08] Sehr gerne, melde dich einfach und freue mich wieder bei dir zu Gast sein zu dürfen.

[1:28:18] So, das war unser Interview zum Thema Big Data.

[1:28:20] Ich hoffe, es hat dir genauso viel Spaß gemacht und vor allem auch ein bisschen was gebracht.

[1:28:24] Vielleicht hat das den einen oder anderen Fachbegriff etwas besser geklärt

[1:28:27] und du hast jetzt auch einen besseren Überblick über dieses

[1:28:30] sehr schwammige, sehr ominöse, wolkige Thema, habe ich ja auch gesagt.

[1:28:34] Ich fand, es waren sehr viele coole, konkrete Hands-on-Tipps dabei

[1:28:37] und hat mir auf jeden Fall persönlich viel Spaß gemacht und auch was gebracht.

[1:28:40] Die ganzen erwähnten Links und Bücher und Ressourcen und worüber wir gesprochen haben,

[1:28:44] das findest du wie immer in den Show Notes

[1:28:45] und die findest du unter itberufe-podcast.de

[1:28:48] slash 165 für die 165.

[1:28:52] Episode, die das hier heute war.

[1:28:55] Ansonsten kann ich dir auch noch mal dringend empfehlen,

[1:28:57] hör mal in den Podcast von Maurice rein, den Skill Byte Podcast.

[1:29:00] Auch der ist natürlich in den Show Notes verlinkt.

[1:29:03] Sehr viele spannende Tech-Themen.

[1:29:05] Wenn du eher in Richtung Anwendungsentwicklung unterwegs bist,

[1:29:08] ist das sicherlich etwas, wo du noch viel mitnehmen kannst.

[1:29:10] Ich finde ihn persönlich auch sehr schön, habe ihn schon seit der Erklärung

[1:29:13] jetzt auf meiner Hier-List oder wie auch immer man das nennt.

[1:29:16] Ich bin auf jeden Fall ein Podcatcher abonniert.

[1:29:18] Und ganz nebenbei war ich auch vor kurzem als Gast in seinem Podcast

[1:29:22] und wir haben uns über die Ausbildung im IT-Bereich unterhalten.

[1:29:25] Also von daher auf jeden Fall eine klare Hörempfehlung von mir.

[1:29:28] Ja, da wir meine angepeilte Stundenmarke heute wieder mal deutlich gerissen haben,

[1:29:33] würde ich sagen, ich höre auf zu quatschen und sage

[1:29:35] vielen Dank für die Aufmerksamkeit und bis zum nächsten Mal.