Evaluating Marketing Initiatives using Explainable Machine Learning : An Alternative to Attribution Models

Since its inception, Marketing has always needed more clearly defined incrementality, i.e., a measurement of advertisement effectiveness. Nowadays, Marketing is an evergrowing business; within it, Digital Marketing is taking the spotlight. Digital Marketing brings multiple benefits, such as a global reach and a lower cost associated with customer communication. However, more importantly, customer interaction and engagement can be clearly tracked, which can help measure Marketing impact. Nowadays, this problem is tackled in two ways, A/B testing and attribution models. Even though statistically solid and proven, A/B testing, a form of hypothesis testing, faces implementation issues and other practical aspects, leading to only sometimes being used in real-world applications. On the other hand, Attribution models are not comparable, thus not quantifiable, and good attribution models are hard to develop, leaving companies relying on third-party providers. In short, this paper suggests that the impact of each marketing campaign can be measured in a two-step process: (1) Training a model to predict a customer's conversion, given their previous advertisement interactions; (2) Applying explainable machine learning methods to said model to infer the importance of each advertisement interaction in a user journey. The main methods used are permutation feature importance and Shapley values. The dataset is designed such that each type of advertisement interaction is a model's feature; thus, an importance value can be calculated for each interaction. On top of that, a local method - counterfactual explanations - and a possible implementation of a hyper-personal application are discussed. The proposed solution is shown to provide more accurate attributions than most common attribution models, with the possibility of augmenting the accuracy by changing the underlying model. It is also suggested that it could benefit significantly from more data on customer demographics, generating insights into how campaigns affect different customer segments. Marknadsföring har sedan dess begynnelse alltid behövt en tydligare definition av inkrementalitet, det vill säga, mätningen av annonsens effektivitet. Marknadsföring är numera en ständigt växande verksamhet och inom den är det den digitala marknadsföringen som står i fokus. Digital marknadsföring ger flera fördelar t.ex. global räckvidd och lägre kostnader för kundkommunikation. Viktigare är dock att kundernas interaktion och engagemang kan spåras tydligt, detta bidrar i sig till att mäta marknadsföringens effektivitet. Det här problemet hanteras på två sätt: AB-testning och tilldelningsmodeller. Även om AB-testning är statistiskt sett både gedigen och beprövad leder oftast problem med genomförandet och andra praktiska aspekter till att det endast ibland används i korrekta tillämpningar. Å andra sidan är tillskrivningsmodeller inte jämförbara - de saknar mätbarhet - och det är svårt att utveckla bra tillskrivningsmodeller vilket gör att företagen förlitar sig på tredjepartsleverantörer. I korthet föreslår denna artikel att effekten av varje marknadsföringskampanj kan mätas i en tvåstegsprocess. (1) Träning av en modell för att förutsäga en kunds konvertering baserad på deras tidigare annonsinteraktioner. (2) Tillämpning av difinierade maskininlärningsmetoder på nämnda modeller för att härleda betydelsen av varje annonsinteraktion i en användares resa. De viktigaste metoderna som användes var permutation feature importance och Shapley-värden. Datamängden utformad så att varje typ av annonsinteraktion blir en modells funktion; på så sätt kan ett betydelsevärde beräknas för varje interaktion. Dessutom diskuteras en lokal metod - kontrafaktiska förklaringar - och ett möjligt genomförande av en hyperpersonlig applikation. Den föreslagna lösningen visade sig ge mer exakta tillskrivningar än de flesta vanliga tillskrivningsmodeller, med möjlighet att öka noggrannheten genom att ändra den underliggande modellen. Det föreslås också att den skulle kunna dra stor nytta av mer data om kundernas demografi, vilket skulle generera insikter om hur kampanjer påverkar olika kundsegment.