Redigerer Datatransformasjon (avsnitt)

== Typer transformasjoner ==

=== Satsvis datatransformasjon ===
Tradisjonelt har datatransformasjon vært en satsvis prosess<ref name="tdwi.org">TDWI. 10 Rules for Real-Time Data Integration. Retrieved from: https://tdwi.org/Articles/2012/12/11/10-Rules-Real-Time-Data-Integration.aspx?Page=1</ref> hvor utviklere skriver kode eller implementerer transformasjonsregler i et dataintegrasjonsverktøy og deretter kjører den koden eller disse reglene på store datamengder.<ref name="andrefreitas.org">Tope Omitola, Andr´e Freitas, Edward Curry, Sean O'Riain, Nicholas Gibbins, and Nigel Shadbolt. Capturing Interactive Data Transformation Operations using Provenance Workflows Retrieved from: http://andrefreitas.org/papers/preprint_capturing%20interactive_data_transformation_eswc_highlights.pdf</ref> Denne prosessen kan følge de lineære stegene som beskrevet om generelle transformasjonsprosesser ovenfor.

Satsvis transformasjon er hjørnesteinen i praktisk talt alle integrasjonsteknologier som [[datavarehus]], [[datamigrering]] og [[applikasjonsintegrasjon]].<ref name="cio.com">CIO.com. Agile Comes to Data Integration. Retrieved from: https://www.cio.com/article/2378615/data-management/agile-comes-to-data-integration.html</ref>

Når data må transformeres og leveres med lav [[latens]] brukes ofte begrepet mikrosats (''microbatch'').<ref name="tdwi.org"/> Dette refererer til at det behandles små grupper med data (for eksempel et lite antall rader eller en liten mengde dataobjekter) som demed kan behandles veldig raskt og leveres til målsystemet når det trengs.

=== Fordeler med satsvis datatransformasjon ===
Tradisjonelle transformasjonsprosesser har vært en arbeidshest for selskaper i flere tiår. De ulike verktøyene og teknologiene (dataprofilering, datavisualisering, datavask, dataintegrasjon, og så videre) har modnet, og de fleste (om ikke alle) virksomheter transformerer enorme datamengder som mater interne og eksterne applikasjoner, datavarehus og andre datalagre.<ref name="The Value of Data Transformation">The Value of Data Transformation</ref>

=== Begrensninger av tradisjonell datatransformasjon ===
Den tradisjonelle transformasjonsprosessen har også begrensninger som hemmer den generelle effektiviteten og effekten.<ref name="cio.com"/><ref name="livinglab.mit.edu"/><ref name="andrefreitas.org"/>

Menneskene som trengs for å bruke dataene (for eksempel forretningsbrukere) spiller ikke en direkte rolle i transformasjonsprosessen.<ref name="digital.lib.washington.edu"/> Vanligvis gir brukerne transformasjonsoppgaven til utviklere som har de nødvendige tekniske eller kodeferdighetene for å definere transformasjonene og utføre dem på dataene.<ref name="The Value of Data Transformation">The Value of Data Transformation</ref>

Denne prosessen gjør at mesteparten med å definere de nødvendige transformasjonene lempes over på utvikleren som ofte ikke har den samme [[Domenekunnskap|domenekunnskapen]] som forretningsbrukeren. Utvikleren tolker kravene til forretningsbrukeren og implementerer den relaterte koden eller logikken. Dette steget har potensial til å introdusere feil i prosessen (gjennom feiltolkede krav), og øker også tiden for å komme frem til en løsning på forretningsproblemet.<ref name="digital.lib.washington.edu"/><ref name="ReferenceA">McKinsey.com. Using Agile to Accelerate Data Transformation</ref>

Dette problemet har gitt opphav til behovet for [[Smidig programvareutvikling|smidighet]] og [[selvbetjening]] innen dataintegrasjon (altså styrke brukeren av dataene sine datakunnskaper og gjøre dem i stand til å transformere dataene selv interaktivt).<ref name="andrefreitas.org"/><ref name="ReferenceA">McKinsey.com. Using Agile to Accelerate Data Transformation</ref>

Det finnes selskaper som tilbyr verktøy for selvbetjening av datatransformasjon. De tar sikte på å effektivt analysere, kartlegge og transformere store datamengder uten å kreve den tekniske kunnskapen og prosesskompleksiteten som vanligvis kreves. Mens disse selskapene på underliggende nivå leverer tradisjonell satsvis transformasjon så muliggjør verktøyene deres en presentasjon som er mer interaktiv for brukerne gjennom å bruke visuelle plattformer og enkle skript som gjenbrukes.<ref>{{Kilde avis|url=https://www.datanami.com/2016/05/31/self-service-prep-killer-app-big-data/|tittel=Why Self-Service Prep Is a Killer App for Big Data|dato=2016-05-31|avis=Datanami|besøksdato=2017-09-20|språk=en-US}}</ref>

Likevel kan det være noen kompatibilitetsproblemer (som for eksempel at nye datakilder som [[tingenes internett]] (IoT) ikke fungerer korrekt med eldre verktøy) og [[Samsvar og etterlevelse|samsvarsbegrensninger]] på grunn av forskjeller i [[datastyring]]-, preparering- og revisjonspraksis.<ref>{{Kilde www|url=https://blog.coupler.io/what-is-data-transformation/|tittel=Your Practical Guide to Data Transformation|besøksdato=2022-07-08|fornavn=Pablo|etternavn=Sergio}}</ref>

=== Interaktiv datatransformasjon ===
Interaktiv datatransformasjon (IDT)<ref>Tope Omitola, Andr´e Freitas, Edward Curry, Sean O’Riain, Nicholas Gibbins, and Nigel Shadbolt. Capturing Interactive Data Transformation Operations using Provenance Workflows Retrieved from: http://andrefreitas.org/papers/preprint_capturing%20interactive_data_transformation_eswc_highlights.pdf</ref> er en type datatransformasjon som gir et grafisk grensesnitt for datatransformasjoner,<ref name="digital.lib.washington.edu">Morton, Kristi -- Interactive Data Integration and Entity Resolution for Exploratory Visual Data Analytics. Retrieved from: https://digital.lib.washington.edu/researchworks/handle/1773/35165</ref> og dermed kan legge til rette for transformasjoner av analytikere og forretningsbrukere med begrenset teknisk kompetanse. Verktøyet kan tolke egenskapene til dataene (via automatisert dataprofilering eller visualisering), og brukes for å endre eller korrigere dataene gjennom enkle brukerinteraksjoner som ved å klikke eller velge bestemte elementer i dataene.<ref name="livinglab.mit.edu"/>

Selv om interaktiv datatransformasjon følger de samme integrasjonsstegene som satsvis integrasjon er det en hovedforskjell i at stegene ikke nødvendigvis følges på en lineær måte og vanligvis ikke krever betydelige tekniske ferdigheter for å utføres.<ref>Peng Cong, Zhang Xiaoyi. Research and Design of Interactive Data Transformation and Migration System for Heterogeneous Data Sources. Retrieved from: https://ieeexplore.ieee.org/document/5211525/</ref>

Det finnes en rekke selskaper som tilbyr interaktive verktøy for datatransformasjon, eksempelvis oppstartsselskaper som Trifacta, Alteryx og Paxata. De tar sikte på å gi effektiv analyse, avbildning og transformasjon av store datamengder samtidig som de abstraherer bort noe av den tekniske kompleksiteten og prosessene som foregår under panseret.

Løsninger for interaktiv datatransformasjon tilbyr et integrert visuelt grensesnitt som kombinerer eller gjør det lettere å hoppe mellom de tidligere adskilte stegene i dataanalyse, dataavbildning og kodegenerering/-kjøring og datainspeksjon.<ref name="The Value of Data Transformation">The Value of Data Transformation</ref> Altså, hvis det gjøres endringer på ett steg (som for eksempel endring av navn på en variabel) vil programmet automatisk oppdatere de andre foregående og påfølgende stegene tilsvarende. Grensesnitt for interaktiv datatransformasjon inkluderer visualisering for å vise brukeren mønstre og avvik i dataene slik at de visuelt kan identifisere [[Anomali|feilaktige]] eller [[Ekstremverdi|ekstreme verdier]].<ref name="digital.lib.washington.edu"/>

Når brukeren er ferdig med å transformere dataene kan systemet generere kjørbar kode eller logikk som gjenbrukes på lignende datamengder.

Ved å fjerne utvikleren fra prosessen kan interaktiv transformasjon bidra til å forkorte tiden som trengs på forberedelse og transformasjon av dataene, eliminere kostbare feil i tolkning av brukerkrav og gi forretningsbrukere og analytikere muligheten til å kontrollere dataene sine og samhandle med dem etter behov.<ref name="ReferenceA">McKinsey.com. Using Agile to Accelerate Data Transformation</ref>