Instrumented Interconnecteds Intelligent

Building a Smarter Planet. A Smarter Planet Blog.

March, 20th 2015

Posted by
Olaf Bleekemolen in

Column door Frank van der Wal

Column door Frank van der Wal

CeBIT. For those who don’t know CeBIT, it’s a fair. A big one, perhaps the largest one in Europe, I don’t know. Big in the sense that the hotel rooms are so rare and therefore so expensive that the organisation rents  apartments from individuals to house all of the visitors and exhibitors. If you want to see all of the booths it will take multiple days. It’s the fair that even Angela Merkel is attending, well, opening even.

I had the pleasure to represent IBM with another 1.000 or so colleagues. IBM has more than 100  booths showcasing our products and services. From Softlayer to Watson, from Power Systems to Identity Management. The works. I would have liked to write something about every booth, but that would produce a blog too long.

Two things though I would like to highlight. The first one is that just next to the z Systems stand there was a pedestal of IBM Research. The scientists present were displaying and explaining the work they do on the microserver which I wrote about a couple of months back. It is part of the Square Kilometer Array, a virtual radio telescope to examine the earliest phases of our universe. As the name gives away, this telescope covers an area of a square kilometer and consists of many little antennas receiving cosmic radio waves. The scientists were displaying the microserver and casually telling me that they need those high performing yet low power consuming server to work on the 14 ExaByte of data (!!!!) each of the antenna’s produces  daily. So, 14 ExaByte is 14, followed by 18 0′s bytes that the antenna receives. That’s BIG DATA. The problem, is that the larger part of the data is crap. The microservers are doing algorithms that squeeze the 14 EB down to a mere 1 PetaByte (we are talking only 15 trailing 0′s here) and stores it for further use. Wow!

The next topic, and here is the bridge, is talk about the ‘other’ Big Data in relation to the good old mainframe. At CeBIT I was delighted to see many young colleagues working on z Systems. I’ve spoken to many of them and had interesting conversations with the Big Data crew.


Big Data in this context, is not so much about the 14 ExaByte of data produced daily, it is more about the combination of very structured data companies have, nicely tucked away in databases (like DB2 or Oracle) and the unstructured data that is produced by Social Media, PDF’s and office documents like spreadsheets. These two types of data couldn’t be further away from each other in terms of how to access, search and store them. To make sense of  structured data you need to ‘query’ the database. To look into a PDF you need other techniques.

The friends from Apache defined a way of storing and processing the unstructured data in a very efficient way, called Hadoop. The storage is done by slicing the large files into small pieces and spread it around many little servers with storage.
Next, you would like to process that data. In the structured world you transport that data out of the database to the processor, but if you have large amounts of unstructured data scattered over those servers, you bring compute power to the data. What Hadoop does is to breakdown the processing part into small parts that are send to the little servers. In this way the work is run in parallel. Hadoop takes care about collecting and assembling all the partial results from the nodes and present the complete answer (42 of course!).

Hadoop is an Open Source implementation and although very well maintained, for companies it implies a risk. IBM took this Hadoop and ruggedized it for enterprises, while maintaining the open standards at a 100%. We call it BigInsights and it runs also on z Systems.

Of course, processing -big- data is not enough. You have to do something with it, like analyzing, adding value etc. Especially with the combination of the two data types this becomes interesting and if the mainframe holds those two, well, the structure is there to do analytics and all kind of other data-enriching activities.

So, Big Data is not only for low-end cheap servers with low priced storage, it is also there for enterprise-class environments.

From CeBIT:


Technorati Tags: , ,

Bookmark and Share
March, 10th 2015

Column by Frank van der Wal

Column by Frank van der Wal

In my last column I described PresenceInsight, a system developed by IBM Research to track mobile devices anonymously within  a designated area.

Some of the readers reacted with the obvious remarks about privacy. Although PresenceInsight is anonymous (tracking only the MAC address of the mobile device and not personal information) the question surfaced that if somebody buys a mobile device it doesn’t automatically means that that person wants to be tracked in the first place.

I am a technical guy, not a lawyer or an etesian. I don’t have the answer to all those questions.

As a person I’m also worried by the data that is there to grab. Even yesterday I installed a new app on my iPhone from a  TV/Internet provider that allows me to watch TV on my mobile device. I was stunned to see the access that app has on my personal data which  has absolutely nothing to do with watching TV. Still I installed it, weak as I am and again choosing for the convenience.

The other day I saw a slide in a presentation about security on mobile devices. It showed that most of the popular dating apps have access to location info, personal data, calendar etc. Not that bad at first sight, but then the slide showed that more than 50% of the corporate users have dating apps installed, meaning that the companies (or just clever hackers and industrial spies) behind the dating apps can see where the companies sellers have been…

Security, personal data and integrity are all very important. It is why my eye was attracted to an IBM Research project called Identity Mixer.  It solves the problem that everyone faces these days. If you want to do anything on the web you have to fill in a form with data that has little or nothing to do with the services you are requesting. I’m very offended by it, by the way. Why do I need a login ID (yet another password to remember) if I want to buy tickets for a movie. OK, I do realize that to see a 12years+ rated movie they need to know my age. But I know that my personal data is out there once more and if companies like Sony or Gemalto can’t protect themselves against cybercrime, I really don’t see how my local Mickey-Mouse cinema with a Mickey-Mouse IT infrastructure and probably even worst Mickey-Mouse IT Security in place, can.
I always have an evil smile on my face whenever I see the statement “your data is safe with us”. Yeah, right! (Unless they use IBM’s security offerings and the data is stored on a z Systems, of course). In addition I trust technology more than the people who work with it…

Despite my lack of trust in those companies, they are –legally— obliged to safeguard your data. If they take it seriously, they should be concerned.

Identity Mixer is a system that allows users not to reveal all the personal information if only a limited set is required. On YouTube there is a good animated movie of a girl that want to see a film online. She needs to prove that she is over 12 year and that she has a valid account. So why on Earth send her street address, city, sex, nationality etc. etc. as well?

Identity Mixer uses a cryptographic algorithm to encrypt the certified identity attributes of a user. The clever thing is that the user can determine which of the data is revealed. For the receiver/requester it is a less painful exercise as they don’t need to safeguard valuable info. Even if the requester is hacked, the information is still encrypted and of no use for the hacker.

With Identity Mixer and the algorithms behind it, you can actually send information that is not your birthday, to prove that you are over 12 year. Clever, eh?.
To use the Identity Mixer the user has to register only once with the eGovernment and then her encrypted data is stored on an eWallet. Together with her account of on-line services she can identify herself with a limited number of her attributes.

Although it might be controversial, this service will be available from BlueMIx, the PaaS Cloud services of IBM. There are many discussions on Security and cloud as well, but remember that the data is encrypted and stored on the eWallet, not on the BlueMix cloud.

I do realise that companies would like to have as much data as possible from you and that Identity Mixer won’t solve the hunger for personal data for those companies. Still, I’m optimistic and think that the public opinion as well as fact that the receiver doesn’t hold valuable data, might change that a bit. Now I only have to find a way to tell my local CableTV company to stop using my photo library if I want to watch TV on my iPhone. That’s the hard part.

Technorati Tags: , , ,

Bookmark and Share
February, 26th 2015

Marc SteenbergenHet mag dan weinig opwindend klinken, maar let’s face it: security & compliancy zijn hele belangrijke parameters bij de sourcing- en platformkeuze van organisaties.

In het kader van cloud computing wordt dan vaak gesproken over ‘private’ versus ‘public’. En omdat de werkelijkheid veelal een mix van platformen omvat, wordt dan vaak de aanduiding ‘hybride cloud’ gebruikt. Ik ben hier geen voorstander van, omdat het de boel oversimplificeert. Al deze termen gaan voorbij aan de vele nuances, de grijstinten, die bij de platform- en sourcingkeuzes mogelijk zijn.

Keuzes tussen ‘dedicated’ en ‘shared’, kortom tussen ‘delen’ of ‘eigen’, kunnen gemaakt worden op vele niveaus in de services stack, o.a. voor datacenterfaciliteiten, architectuur, hardware, beheersoftware, middleware, applicaties, databases, delivery processen en de delivery organisatie. Zo kan een exacte kopie van een publiek cloudplatform in een datacenter van de klant, met dedicated hardware en beheersoftware, maar ingericht overeenkomstig de standaard architectuur van de leverancier en beheerd op basis van global delivery processen door een global delivery-organisatie inclusief life cycle management, zorgen voor een optimale balans tussen security- en compliancy-vereisten in combinatie met toch ook maximale schaal- en innovatievoordelen.

Dit is maar één voorbeeld van een genuanceerde mix, van 1 van de 50 mogelijke tinten grijs, in platform- en sourcingkeuzes. Geen ‘public’, geen ‘private’, maar sommige zaken fysiek en logisch delen, sommige andere zaken alleen logisch, en sommige zaken gewoon helemaal niet. En alle tinten grijs hebben hun specifieke voor- en nadelen. Maar wie de sprong naar ‘de cloud’ overweegt, doet er goed aan deze nuances in ogenschouw te nemen, en de discussie hierover in een vroeg stadium te voeren. Binnenkort gaan we vanuit IBM met een select groepje CIO’s en CISO’s rond de tafel. Ik ben benieuwd voor welke cloudtinten zij kiezen, en waarom.

Technorati Tags: , , ,

Bookmark and Share

Het berekenen van de optimale aerodynamica op basis van big data

Solar Team Twente heeft in 2013 voor de vijfde keer deelgenomen aan de World Solar Challenge. In vijf dagen heeft hun zonneauto The RED Engine Australië van noord naar zuid doorkruist met een gemiddelde snelheid van ongeveer 80 kilometer per uur – en dat puur op zonnekracht. Met als resultaat de derde plaats in de race. Een uitstekende prestatie die gebaseerd is op kennis, techniek, teamwork en grote hoeveelheden data.

Door Joost Hanraets

Red Engine

The Solar Team Twente is composed of 16 RED Engineers: students from the University of Twente and Saxion. The team also took part in this race with earlier versions of the solar car in 2005, 2007, 2009 and 2011.

De World Solar Challenge vindt om de twee jaar plaats. In deze competitie gaan verschillende studententeams van universiteiten verspreid over de wereld de strijd met elkaar aan. Het doel? Met een auto aangedreven door zonne-energie als eerste de finishlijn in Adelaide passeren. In vier à vijf dagen leggen de teams een afstand van ongeveer 3.000 kilometer af, van Darwin in het noorden tot Adelaide in het zuiden van het continent. Solar Team Twente van de Universiteit Twente en Saxion Hogeschool is een van de ruim vijftig deelnemers uit 25 verschillende landen. De afgelopen jaren presteerde het zestienkoppige team steeds beter dan de voorgaande editie. Deze lijn heeft het Solar Team Twente doorgetrokken. Dat resulteerde in een welverdiende podiumplek met hun auto The RED Engine. Hoe is Solar Team Twente tot dit topresultaat gekomen? En welke rol heeft (big) data hierbij gespeeld?

The RED Engine

Data en analytics spelen een cruciale rol bij de Solar Challenge. Ten eerste bij de bouw van de auto. “Naar aanleiding van aerodynamische rekenmodellen hebben we eerst een 3D-model van The RED Engine ontworpen”, zegt Koen Sedee, Externe Betrekkingen Solar Team Twente. “Dat vroeg om gigantische rekenkracht. Het berekenen van de optimale aerodynamische vorm gebeurt namelijk op basis van big data. Daarvoor hebben we speciale rekenclusters gebruikt die de rekentijd verkorten. In plaats van ongeveer tien dagen met een normale computer, duurde het nu bijna vier uur om deze berekeningen uit te voeren.” Vervolgens bouwde Solar Team Twente een schaalmodel en testte dit in een windtunnel. “Met de gegevens uit de windtunnel hebben we het design doorontwikkeld en The RED Engine gebouwd. Daarna hebben we de auto nog uitgebreid getest op onder andere een komcircuit. Ook daarbij hebben we de nodige gegevens verzameld en geanalyseerd.”


Data was ook belangrijk bij het bepalen van de strategie. Sedee licht toe: “We begonnen de race met een volle accu. Het was ons doel om vijf dagen later aan te komen met een volledig lege accu. Dat klinkt simpeler dan dat het is, want er zijn zoveel factoren die meespelen bij het bepalen van de juiste snelheid. Denk daarbij aan het vermogen van de motor, de actuele in- en output, temperatuur, snelheid, wegcondities, route en weersvoorspellingen.” Solar Team verzamelde en analyseerde al deze gegevens tijdens de race vanuit de volgauto, ofwel de Decision Making Unit (DMU). Met alle informatie werd in de DMU de optimale snelheid op elk moment zo nauwkeurig mogelijk bepaald. Dat gebeurde door real-time sensorgegevens uit de auto direct in een rekenmodel in te voeren en te analyseren, maar ook door vooruit te kijken naar bijvoorbeeld de route en weersvoorspellingen van latere dagen. “Voor dag vier was er slecht weer voorspeld. We hebben onze strategie al dagen daarvoor hierop afgestemd door energie te sparen. Daardoor hebben we de laatste dag onze derde plek definitief veilig gesteld door de achtervolger op grote afstand te zetten.”

Optimale snelheid op elk moment zo nauwkeurig mogelijk bepalen.


In de praktijk

De input van de zonnecellen, temperatuur, wind, snelheid – er zijn heel veel verschillende gegevens van invloed op de optimale snelheid. Hoe verzamelde en analyseerde Solar Team Twente al deze data in de praktijk? “De zonneauto werd volledig bestuurd vanuit de DMU. Via WiFi stond deze volgauto in verbinding met de The RED Engine, waardoor we continu real-time data konden uitlezen en analyseren in de DMU”, zegt Sedee. In deze volgauto zaten onder andere een strateeg, meteoroloog, data-aquisist en raceleider. Zij namen alle strategische beslissingen. Daarvoor beschikten ze ook over de nodige ICT, zoals laptops met analysesoftware en rekenmodellen. “Ook haalden we real-time gegevens van internet, bijvoorbeeld over het weer. Daarvoor hadden we de beschikking over een speciale satellietverbinding van Inmarsat om data te streamen, best bijzonder midden in de outback van Australië.”

Juiste software

Tijdens de race vonden in de DMU constant analyses plaats van grote datahoeveelheden. Dat vroeg om de juiste software. Business Analytics en Information Managementpartner Imtech ICT voorzag Solar Team Twente van de nodige ICT-oplossingen. Een voorbeeld daarvan is een op Google Maps-lijkende applicatie om bijzonderheden in de route aan te geven. “Een paar uur voor ons konvooi uit reed een verkenningsauto. Vanuit hier werd in de applicatie aangegeven waar we bijvoorbeeld een stoplicht, afslag of gat in de weg tegen zouden komen. De desbetreffende points of interest zagen we meteen op de digitale kaart. Deze info was niet alleen handig om de snelheid vast te houden, maar droeg ook bij aan de veiligheid van de bestuurder.” “We zijn nu bezig met het samenstellen van een nieuw team voor de World Solar Challenge 2015”, zegt Sedee. Vanaf september 2014 gaat dit team aan de slag met de ontwikkeling van de nieuwe auto. “Dit gebeurt in grote lijnen op dezelfde manier als wij dat gedaan hebben: op basis van complexe rekenmodellen. We hopen dat het nieuwe team daarvoor nog betere rekenclusters kan gebruiken en beschikt over nog verder gefinetunede software, zoals een navigatiefunctie in de Google Maps-achtige applicatie. Daarmee kunnen ze hopelijk nog een tree hoger op het podium komen door op basis van nog betere data-analyse het verschil te maken.”

Voor meer informatie omtrent Big Data & Analytics bij IBM: link

Technorati Tags: , , , , ,

Bookmark and Share

Column door Frank van der Wal

Column door Frank van der Wal – @thewalls

Cloud versnelt innovatie. Organisaties kunnen direct reageren om zich aan te passen aan de wensen en behoeften van klanten, medewerkers, partners en leveranciers. Daarbij hebben ze optimaal toegang tot de benodigde software en processen. De grote uitdaging ligt echter niet alleen in de technologie. De cloud is vooral ook een kwestie van cultuur, van de bereidheid om te innoveren. Zo ontstaan er nieuwe soorten inzichten door cloud en analytics te combineren. Een dynamische cloudstrategie is nodig om resultaat te behalen.

In de recentelijk gehouden IBM WebSphere Technical University waren meer dan 250 sessies en labs dus vervelen was er niet bij. Interessante sessies en, helaas, ook wat minder interessante. Voor mij, als techneutje, was er genoeg te snoepen. Veel achter de knoppen kunnen zitten. Leuk!


- – - – - – - – - – - – - – - – - – - – - – - – - – - – - – - – - – - – - – - – - – - – - – - – - – - – - – -

Het is niet de eerste keer dat ik er over schrijf dus ik riskeer reacties als “Heintje Davids!” en “Heb je niets nieuws”, maar ik blijf de IBM BlueMix en Internet of Things toch wel heel erg interessant vinden. En de ontwikkelingen gaan enorm snel. In een vijftal jaar zullen er iets meer dan 8 “connected devices” per inwoner van de wereld zijn. Ruim over de 200 miljard. En deze aangesloten dingetjes kunnen van alles zijn, van sensoren die een paar euro(cent) kosten tot dingen als de iPhone6 Plus, of tegen die tijd de iPhone 10 ExtraPlus.

Ik moedig iedereen aan om zelf een BlueMix account aan te maken of eens te kijken op IBM Internet of Things website. Binnen vijf klikken kan je een apparaatje (virtueel of in het echie) aangesloten hebben.

FAN2011948Een interessante technologie die erg gelinkt is met het IoT en die eigenlijk al meer dan 10 jaar oud is, is MQTT. Het staat voor Message Queue Telemetry Transport en is het meest handige protocol om sensoren informatie te laten sturen en ontvangen. Het is een IBM vinding gedaan door oa Andy Stanford-Clark. Hij was bezig om oliepijpleidingen te monitoren en merkte dat als je het http protocol gebruikt, er een limiet is aan het aantal sensoren die je langs kunt gaan. Stel je hebt een pijpleiding van 5000 km die om de 250 meter een sensor bezit, dan heb je er 20000. In het http protocol stuur je informatie vanuit een browserachtige intiteit naar een sensor en alleen dán kan er een antwoord komen. Heb je 20000 sensoren moet je die dus allemaal een-voor-een nagaan met een request, het antwoord afwachten en dan naar de volgende gaan. Als dat één seconde duurt, ben je ruim 5 uur onderweg. In die 5 uur kan je veel olie verliezen als er een lekje is. Bovendien moet de sensor een soort van inbedded webservertje hebben hetgeen alleen maar stroom kost en de kosten van een sensor omhoog doet gaan. Tevens is http een “zwaar” protocol als het gaat om bandbreedte. Ja, wij in onze rijk voorziene bandbreedtes malen er niet om, maar als er een pijpleiding dwars door de wildernes loopt, is elke bit versturen duur.

MQTT is een protocol waarbij de sensor volledig zelfstanding (dus zonder eerst gevraagd te worden) informatie uitstuurt. Minimum is 2 bytes, maar kan iets oplopen als er security wordt toegevoegd, maar blijft erg lichtgewicht. Het protocol voorziet ook in een Onderwerp (Subject) dat meegestuurd kan worden.

Een applicatie (of andere MQTT devices) kunnen zich abonneren (Subsribe) op een bepaald onderwerp. In het oliepijplijn voorbeeld betekent dat er een applicatie ‘luistert’ of er een van de 20000 sensoren een signaal uitstuurt met als onderwerp “lekje”. Vervolgens kunnen er snel acties ondernomen worden.

Ondanks dat het een IBM vinding was hebben we al lang geleden het openbaar gemaakt. Het is nu aan de MQTT community om het te onderhouden, en het is bijna gecertificeerd door de OASIS (een standaardisatie organisatie)

MQTT berichten kunnen er met 100.000- den zoniet met miljoen uitgestuurd worden, en nog steeds behapbaar blijven. IBM heeft een appliance die dat voor je kan doen. IBM mEssageSight heet die.

Facebook gebruikt MQTT voor hun Messenger functie. Ook hier geldt weer, het lichtgewicht karakter maakt het erg interessant voor mobieltjes. Want niet alleen de bandbreedte telt, maar als het protocol lichtgewicht is, heeft het ook minder energie nodig waardoor de batterij niet al te veel belast wordt.

Ik heb erg het gevoel dat we aan het begin staan van dat hele Internet of Things, dat het een ontwikkeling is die baanbrekend is en veel in de wereld kan veranderen. Hopelijk gunstige veranderingen.

Technorati Tags: , , , , ,

Bookmark and Share

Subscribe to this blog Subscribe to this blog