Connected architectuur: einde aan de informatiechaos
— geschreven door Marnix Dalebout & Martijn ten Napel
We leven in een tijd waarin datatechnologie zich versneld ontwikkelt. Door de sterke toename van informatie en de toepassingsmogelijkheden neemt complexiteit en daarmee informatiechaos toe.
Wij merken dat veel bedrijven worstelen met hun datagebruik. Niets lijkt zeker, behalve de verandering zelf. Door de jaren heen hebben wij een architectuur ontwikkeld die ‘by design’ om kan gaan met deze ontwikkelingen. Een architectuur die handvatten biedt om niet de beste, maar de best passende oplossing te vinden.
Deze architectuur noemen wij ‘connected architectuur’. Een middel om data-inrichting gestructureerd en toekomstbestendig op te tuigen. Een werkbaar receptenboek om stap voor stap een duurzaam datalandschap in te richten. Een handleiding waarmee een organisatie zichzelf continu kan aanpassen aan de toekomst.
Graag delen wij onze visie. Dat doen wij door het uitgeven van een boek, begin volgend jaar. En dat doen wij ook met online publicaties. In dit artikel geven we op hoofdlijnen weer wat connected architectuur is.
De chaos neemt toe
Organisaties zuchten onder een niet te stillen honger naar informatie. De vraag naar informatie is groter dan waaraan voldaan kan worden. Tegelijkertijd wordt verwacht dat nieuwe informatie steeds sneller beschikbaar komt. De verwachtingen worden opgeklopt door technologieleveranciers die gouden bergen beloven en door oneindige reeksen congressen, seminars, webinars en publicaties die allemaal over de belofte van data gaan.
Tussen informatieoplossingen mist vaak samenhang en integraliteit. Voor elk deelprobleem wordt een deeloplossing bedacht. En zo groeit er een woud aan oplossingen die ongeveer dezelfde informatie leveren, maar nét niet helemaal. Het landschap wordt complexer en de beheerlast zwaarder en onoverzichtelijker.
Data-inrichting wordt zo met de dag complexer en de chaos neemt toe. Dit heeft een negatieve invloed op het effectief leveren van nieuwe informatie. Daarbij komt dat met de steeds strenger wordende regelgeving het vaak onduidelijk is of je niet ongemerkt de wet aan het overtreden bent.
Managers en architecten willen de controle terugkrijgen. Ze zijn op zoek naar oplossingen die alle ontwikkelingen rondom datagebruik kunnen bijbenen. En ze zoeken naar richtlijnen om de juiste keuze te kunnen maken uit het overweldigende aanbod aan technologieën.
Het best passende antwoord
Aan ons wordt vaak de vraag gesteld: “Vertel me, wat moet ik doen om weer orde te krijgen in onze informatiechaos?”. Verbaasd wordt er gereageerd als we zeggen dat we niet naar de beste oplossingen zoeken, maar naar de best passende. Elke organisatie is anders ingericht en vraagt om een eigen benadering.
De gemeenschappelijke deler van onze aanpak is echter altijd het reduceren van complexiteit. Want niet alleen de uitdagingen van nu, maar ook de vragen van morgen zullen zich aan gaan dienen. Change will happen, be prepared.
Ons antwoord op de toenemende complexiteit, chaos en onzekerheid vatten wij onder de noemer ‘connected architectuur’, een gereedschapskist met instrumenten waarmee organisaties onderbouwde inrichtingsbeslissingen kunnen nemen.
Wat is connected architectuur?
- Connected architectuur is een architectuur die zich zowel richt op het gebruik als op de verwerking van informatie. Een architectuur die én de organisatie van de informatievraag én de inrichting van informatieoplossingen in het datalandschap structureert.
- Connected architectuur is niet één oplossing waar alle data wordt verzameld, maar een architectuur waarbij data ‘verbonden’ wordt tussen verschillende databronnen. We noemen dit het datalandschap.
- Connected architectuur biedt ontwerppatronen en implementaties om een informatie-ecosysteem te creëren van data-omgevingen die samenwerken. Informatieproducten kunnen geleverd worden zonder dat de benodigde data eerst fysiek geïntegreerd hoeft te zijn.
Maar dat is het niet alleen.
- De architectuur moet ook geborgd worden in de organisatie. Met een andere manier van denken kunnen nieuwe informatievragen met zo min mogelijk frictie in het datalandschap worden geabsorbeerd. Hierdoor kan het datalandschap evolueren met de ontwikkeling van een organisatie.
Hoe zijn we tot connected architectuur gekomen?
Op onze zoektocht naar de best passende oplossingen komt een aantal zaken bij elkaar:
- Het ontdekken van overeenkomsten in de uitdagingen op het gebied van informatie door het stapelen van inzichten die we hebben opgedaan in veel en verschillende projecten;
- Een leven lang werken met de principes die achter agile werkmethoden schuilgaan;
- Nieuwe type data en de technologische diversiteit waarmee deze verwerkt kunnen worden;
- Het boek ‘The Business unIntelligence’ van Barry Devlin waarin de auteur een nieuwe referentiearchitectuur aanreikt waarin nieuwe type data een plek krijgen;
- Gartner’s logical data warehouse concept en wat dat betekent voor het voorbereid zijn op toekomstige informatievragen in organisaties.
We hebben dit uitgewerkt tot een werkbaar receptenboek dat we inmiddels een aantal keer hebben toegepast. Het is een architectuur die zich in de praktijk bewezen heeft.
Wat zijn de uitgangspunten van connected architectuur?
Connected architectuur hanteert de volgende uitgangspunten:
- Binnen een organisatie verloopt de ontwikkeling van vragen en inzichten niet synchroon. Je moet om kunnen gaan met verschillende snelheden van verandering binnen één organisatie en met verschillende kennisniveaus in het werken met informatie. Je moet een visie hebben op wat samenhang in de informatievoorziening is en hoe je daarop gaat sturen.
- De enige zekerheid is constante verandering:
- De vraag verandert: Mensen hebben moeite te verwoorden en te beseffen welke data nodig zijn en waarvoor, nu maar zeker straks. Hoe meer met informatie wordt gewerkt, hoe sneller de verandering plaatsvindt.
- De organisatie verandert: Er komen nieuwe mensen met andere skills, belangrijke mensen gaan weg. Processen, doelen, budgetten en prioriteiten veranderen. Organisaties groeien of krimpen, worden overgenomen, verbreden of verdiepen.
- Technologie verandert: De innovatie van vandaag is de legacy van morgen. Nieuwe technologieën, zeker op het gebied van big data en analytics, verschijnen en verdwijnen in hoog tempo. Waar investeer je in?
- Wetgeving verandert: Er is een discrepantie tussen wat kan en wat mag. De wetgeving die bepaalt wat mag, verandert regelmatig.
Gecontroleerde verandering van het datalandschap
Maar hoe ga je met constante verandering om? Ons antwoord is altijd: actief werken aan het reduceren van complexiteit. Dat betekent dat bij alles wat je doet, voor ieder besluit dat je neemt de vraag gesteld moet worden: ‘Blijft het simpel en begrijpt iedereen wat we gaan doen?’. Door de menselijke maat niet uit het oog te verliezen wordt het makkelijker om de consequenties van iedere keuze voor alle betrokkenen transparant te maken. Dat betekent dat je mensen, processen en informatie in balans met elkaar brengt en houdt, passend bij wat haalbaar is in een organisatie.
Dat resulteert in ons leidend principe van ‘precies genoeg’. Als je in een volatiele omgeving iedere keer een klein stapje neemt, ‘precies genoeg’ om de voorliggende vraag te beantwoorden, kan je iteratief het datalandschap laten evolueren, zonder het draagvlak van alle betrokkenen te verliezen.
Een uitbreiding aan of verandering in het datalandschap is niet willekeurig. Wij bieden een methode om een routekaart te maken waarin duidelijk is wat de inhoudelijke richting is, wat de kaders zijn waarbinnen het datalandschap ontwikkeld wordt en hoe je iedere keer weer de volgende stap neemt.
Hoe ziet connected architectuur eruit?
Onderstaande afbeelding geeft de connected architectuur weer.
Er is een update van de afbeelding verschenen. Deze wordt in een opvolgende artikel besproken.
- Informatievalorisatie: Het doel van informatiegebruik is het zo veel mogelijk oogsten van de waarde die in informatie opgesloten zit. Connected architectuur richt zich op informatievalorisatie.
- De toepassing van informatie gaat niet automatisch, dat moet je organiseren.
- Mensen weten pas welke informatie ze nodig hebben als ze deze gezien hebben. Het principe van ‘precies genoeg’ geldt ook voor de vraagkant van de architectuur in de informatiebenuttingslaag.
- De informatievraag wordt vertaald in oplossingen die in de informatieleveringslaag beschikbaar zijn en waarvoor de infrastructuurlaag de technologische fundering geeft.
Dit kader hebben wij uitgewerkt op drie vlakken. Samen met onze opdrachtgevers wordt de voor de organisatie best passende uitwerking van het model vormgegeven.
Deze drie vlakken zijn:
- Een samenwerkingsmodel, gebaseerd op de principes van agile werken. Het ‘precies genoeg’-principe zit hierin besloten.
- Een architectuur besluitvormingsproces om te bepalen wat ‘precies genoeg’ is en om de wendbaarheid van het datalandschap te borgen.
- Een datalandschap inrichtingsontwerp om het landschap duurzaam in te richten zonder dat het tot chaos leidt.
Om samenhang te houden en inhoudelijk richting te geven aan de ontwikkeling van het landschap, moet de invulling van de drie vlakken bestuurd worden vanuit een organisatieonderdeel dat hiertoe opdracht heeft. In de markt is dit bekend onder het BI competence center (BICC). We hebben een mening over hoe het BICC vormgegeven moet worden wil het effectief opereren, maar dat is een onderwerp dat buiten de scope van dit artikel ligt. We gebruiken het label BICC, maar raak niet gefixeerd op de naam.
Het samenwerkingsmodel
Over het samenwerkingsmodel is apart een boek te schrijven, maar we volstaan om te verwijzen naar de serie ‘agile onder architectuur’ voor de zienswijze die aan onze connected architectuur ten grondslag ligt.
Het architectuur besluitvormingsproces
De meeste organisaties waar wij binnenkomen, worstelen met de vraag ‘waar moet ik beginnen?’. Het architectuur besluitvormingsproces helpt om een begin te maken door de informatievragen te bundelen naar generiekere use cases en te bepalen welke use cases op korte termijn prioriteit moeten krijgen.
Het gevaar bestaat dat je specifieke puntoplossingen maakt. Om dat te voorkomen, is het architectuur besluitvormingsproces ingericht in twee processen. Deze zorgen voor een kader om te kunnen bepalen wat de juiste beslissingen zijn, zonder de doorontwikkeling van het gehele datalandschap uit het oog te verliezen.
- Het domeinarchitectuur proces. Een proces waarmee de routekaart bepaald wordt. Dit proces geeft antwoord op de vraag welke solution architecturen wanneer geïmplementeerd moeten worden om invulling te geven aan de belangrijkste use cases binnen een organisatie.
- Het solution architectuur proces. Een proces waardoor de best passende (‘precies genoeg’) inrichtingsbeslissingen kunnen worden genomen, gebaseerd op de verantwoordingsbegrenzingen zoals opgelegd door de domeinarchitectuur.
Het datalandschap inrichtingsontwerp
Datalandschappen, kan je op vele manieren inrichten. Om het landschap duurzaam te ontwikkelen en de samenhang te behouden, is er een referentiearchitectuur nodig die als blauwdruk voor het inrichtingsontwerp dient.
Wij hebben een blauwdruk gemaakt gebaseerd op de REAL architectuur van Barry Devlin, waarin we elementen uit het logisch data warehouse concept van Gartner hebben verwerkt om de connectiviteit vorm te geven.
Hoe de blauwdruk wordt vertaald naar een implementatieplan en solution architecturen is een onderwerp op zich. In ons boek gaan we daar uitgebreid op in, maar op deze plek willen we de blauwdruk kort presenteren.
Bovenin zijn de vijf gebruikspatronen van informatie benoemd die in het landschap een plek krijgen. Voor meer uitleg over de gebruikspatronen verwijzen we naar het artikel ‘Het doel van de informatievraag: informatievalorisatie’.
De drie pilaren vertegenwoordigen de categorieën van informatie die elk om een andere verwerking vragen, maar die gebruikers tegelijkertijd in samenhang willen gebruiken.
Deze samenhang ontstaat niet vanzelf; er zijn voorwaarden nodig die samenhang tussen de verschillende oplossingen borgen. Dat zijn voorwaarden op het gebied van context van informatie, consistentie van informatie en toegangsbeheer tot die informatie in het datalandschap.
De drie elementen die hiervoor ingericht worden, zijn:
- Masterdata voor integratie, dat het patroon vormt hoe je informatie in verschillende oplossingen aan elkaar verbindt. Verbinden betekent dat je de informatie integraal over oplossingen heen kan bevragen zonder dat je de data eerst samen moet brengen in één oplossing. Dit is ook wel bekend als ‘loosely coupled information’.
- Masterdata voor autorisatie, dat het patroon vormt waarmee toegang tot gegevens vanuit één punt onderhouden kan worden over de verschillende oplossingen heen. Hiermee kan geoorloofd gebruik gecontroleerd worden.
- Het datamodel in de verschillende oplossingen dat aansluit op de masterdata patronen voor integratie en autorisatie.
De informatie verstrekkingslaag maakt gebruik van de verschillende elementen om informatie in een door gebruikers gewenst formaat of gewenste vorm beschikbaar te stellen.
Hoe de blauwdruk wordt ingevuld in de implementatie bepaalt de wendbaarheid van het datalandschap. De architectuur besluitvormingsprocessen zijn ingericht om dit te bewaken; het agile samenwerkingsmodel om de noodzakelijke ontwikkelingssnelheid van het datalandschap en wendbaarheid van geleverde informatie mogelijk te maken.
Ik wil graag meer weten over connected architectuur, waar kan ik de informatie vinden?
We zijn bewust dat we misschien meer vragen oproepen met de introductie van onze connected architectuur. Een uitgebreide beschrijving komt beschikbaar in een boek dat we volgend jaar uitgeven. Maar je kan natuurlijk altijd contact met ons opnemen als je meer wilt weten.