Den inledande uppsatsen till romanen berättar om författarens hemstad - Salem, om hans förfäder - puritanska fanatiker, om hans arbete i Salem seder och om de människor han var tvungen att möta där. "Varken ytterdörren eller tullens bakdörr leder till paradis," och tjänsten på denna institution bidrar inte till blomningen av goda lutningar hos människor. En gång, genom att gräva igenom papper som heapades i ett enormt rum på tullens tredje våning, hittade författaren ett manuskript av en viss Jonathan Pugh, som hade dött för åttio år sedan. Det var en biografi om Esther Prien, som levde i slutet av 1600-talet. En röd trasa hölls med papperet, vid närmare granskning visade det sig vara otroligt broderad med bokstaven "A"; när författaren satte den på bröstet såg det ut som om han kände brännskada. Avskedad efter Whig-segern återvände författaren till litterära studier, för vilka fruktarna av Mr. Pughs verk var mycket användbara för honom.

Från Boston-fängelset kommer Esther Prien med ett barn i armarna. Hon klädd i en vacker klänning som hon sydde för sig själv i fängelset, på hans bröst hans skarlakansröda broderi i form av bokstaven "A" - den första bokstaven i ordet Adulteress (äktenskapsinnehavare). Alla fördömer Esters beteende och hennes trassiga dräkt. Hon leds till marknadsplatsen till plattformen, där hon måste stå upp till en på eftermiddagen under publikens fientliga blick - en sådan straff fick henne av domstolen för hennes synd och för att vägra att ge farens namn till sin nyfödda dotter. När hon står vid stiftet, påminner Esther om sitt tidigare liv, barndomen i gamla England, en medelålders kränkt forskare med vilken hon kopplade sitt öde. När hon tittar runt folkmassan märker hon i ryggen en man som omedelbart tar över sina tankar. Den här mannen är inte ung, han har en penetrerande blick från en forskare och en utmattande arbetares kränkta rygg. Han frågar andra om vem hon är. De är förvånade över att han inte hörde någonting om henne. Men han förklarar att han inte är här, har länge varit förslavad till hedningarna, och nu tog indianen honom till Boston för att få en lösen. Han får höra att Esther Prien är hustru till en engelsk forskare som bestämde sig för att flytta till New England. Han skickade sin fru framåt, och han höll sig kvar i Europa. Under hennes två år i Boston fick Esther inga nyheter från honom: han dog troligen. Den nedlåtande domstolen tog hänsyn till alla förmildrande omständigheter och dömde inte den fallna kvinnan till döds, men dömde honom att bara stå i tre timmar på plattformen vid den skamliga pelaren och sedan bära skyltens tecken på hans bröst resten av livet. Men alla är upprörda över att hon inte nämnde syndens medbrottsling. Den äldsta präst i Boston, John Wilson, övertygar Esther att avslöja förförarens namn, följt av en ung pastor, Dimsdale, vars församling hon var och bryt sin spänning. Men den unga kvinnan är envist tyst och håller sitt barn tätt mot bröstet.

När Esther återvänder till fängelset kommer samma främling som hon såg på torget till henne. Han är läkare och kallar sig Roger Chillingworth. Först lugnar han barnet, sedan ger han medicinen Esther. Hon är rädd för att han ska förgifta henne, men läkaren lovar att inte hämnas varken den unga kvinnan eller barnet. Det var för ansträngande av honom att gifta sig med en ung vacker flicka och vänta på en ömsesidig känsla från henne. Esther var alltid ärlig mot honom och låtsades inte att hon älskade honom. Så båda har skadat varandra och till och med. Men Chillingworth vill veta namnet på sin älskade Esther, namnet på personen som har gjort onda mot dem båda. Esther vägrar att namnge honom. Chillingworth får henne att svär att hon inte kommer att avslöja för någon hans riktiga namn och hennes förhållande till honom. Låt alla tro att hennes man är död. Han beslutar på alla sätt att ta reda på vem Esther syndade med och hämnas sin älskare.

Efter att ha lämnat fängelset bosätter sig Esther i ett övergivet hus i utkanten av Boston och försörjer sig som ett handarbete. Hon är en så duktig broderare att hon inte har slut på kunderna. Hon köper sig själv bara nödvändigheterna och delar ut resten av pengarna till de fattiga och hör ofta förolämpningar istället för tacksamhet i gengäld. Hennes dotter Pearl är vacker, men har en passionerad och förändrad disposition, så Esther är inte lätt med henne. Pearl vill inte följa några regler. Hennes första medvetna intryck var den skarlakansröda bokstaven på Esters bröst.

Avvisningsskyddet ligger hos flickan: hon är inte som andra barn, leker inte med dem. Ser flickans gnagor och desperat att ta reda på vem hennes far är, anser vissa medborgare henne som en djävulsk spawn. Esther bryter aldrig med sin dotter och tar henne med sig överallt. En dag kommer de till guvernören för att ge tillbaka ett par ceremoniella broderade handskar beställda av honom. Guvernören är inte hemma, och de väntar på honom i trädgården. Guvernören återvänder med prästerna Wilson och Dimsdale. På vägen talade de om att Pearl var ett syndebarn och borde ta det från sin mor och överföra det till andra händer. När de rapporterar detta till Esther håller hon inte med att ge upp sin dotter. Pastor Wilson beslutar att ta reda på om Esther väcker henne i en kristen anda. Pearl, som vet ännu mer än vad som är tänkt att vara i hennes ålder, envist och svarar på frågan om vem som skapade henne, svarar att ingen skapade henne, hennes mor hittade henne just i en rosbuske vid dörren till fängelset. Fruktiga herrar är förskräckta: flickan är redan tre år gammal och hon vet inte vem som skapade henne. De bestämmer sig för att ta Pearl från sin mamma, och hon lyckas hålla sin dotter hemma endast tack vare pastor Dimsdales förbön.

Kunskapen om medicin och fromhet har förtjänat respekten för Bostonbefolkningen för Chillingworth. Strax efter hans ankomst valde han pastorn Dimsdale till sin andliga far. Alla församlingar uppskattade den unga teologen och var bekymrade över hans hälsa, som har försämrats kraftigt under de senaste åren. Folk såg Providence-fingret när de kom till sin skickliga läkare och insisterade på att Herr Dimsdale skulle vända sig till honom för att få hjälp. Som ett resultat fick den unga prästen och den gamla läkaren vänner och bosatte sig sedan tillsammans. Chillingworth, som började undersöka Esthers hemligheter med en domars opartiska opartiskhet, faller alltmer under kraften av en enda känsla - hämnd, som underkastar hela hans liv. Han känner den unga prästens brinnande natur och vill tränga in i hans dolda djup och för detta stoppar ingenting. Chillingworth provoserar Dimsdale hela tiden och berättar för honom om syndslösa syndare. Han hävdar att Dimsdales kroppsliga sjukdom är baserad på ett psykiskt sår och övertygar prästen att avslöja honom, läkaren, orsaken till hans känslomässiga lidande. Dimsdale utropar: "Vem ska du <...> stå mellan den drabbade och hans herre?" Men när en ung präst somnar i en stol under dagen och vaknar inte ens när Chillingworth kommer in i rummet. Den gamle mannen närmar sig honom, lägger handen på bröstet och lossar kläder som Dimsdale aldrig tog av i närvaro av en läkare. Chillingworth segrar - "det är så Satan uppför sig när han är övertygad om att en värdefull mänsklig själ går förlorad för himlen och vann för helvetet." Dimsdale känner fientlighet mot Chillingworth och hygrar sig själv för henne, hittar ingen anledning för henne, och Chillingworth - "en eländig, ensam varelse, ännu mer eländig än hans offer" - försöker hårt förvärra Dimsdals mentala plåga.

En natt promenerar Dimsdale till torget och står vid stolpen. I gryningen passerar Esther Prien och Pearl. Prästen ropar till dem, de stiger upp till plattformen och står bredvid honom. Pearl frågar Dimsdale om han kommer att stå här med dem i morgon eftermiddag, men han svarar att på dagen för den sista domen kommer de alla tre att stå inför den stora domarens tron, men nu är det inte dags och dagsljuset bör inte se dem tre. Den mörka himlen lyser plötsligt - förmodligen är det ljuset från en meteor. De ser inte långt från plattformen till Chillingworth, som oskiljaktigt tittar på dem. Dimsdale berättar för Esther att han känner sig ofarlig skräck för den här mannen, men Esther, bunden av en ed, avslöjar inte honom Chillingworth hemligheter.

År går. Pearl är sju år gammal. Esters perfekta beteende och hennes ointresserade hjälp till de drabbade leder till att stadens invånare börjar behandla henne med en slags respekt. Till och med den skarlakansrika bokstaven verkar inte för dem vara en symbol för synd, utan av inre styrka. En gång, när hon gick med Pearl, möter Esther Chillingworth och är förvånad över den förändring som har skett i honom de senaste åren. Forskarnas lugna, kloka ansikte fick ett rovligt, grymt uttryck, ett leende ser på honom med en grimas. Esther talar till honom, detta är deras första konversation sedan den tid då han tog en ed från henne att inte avslöja hans riktiga namn. Esther ber honom att inte plåga Dimsdale: lidandet som Chillingworth lägger honom under är värre än döden. Dessutom plågas han av ögonen på sin svurna fiende och vet inte ens vem han är. Esther frågar varför Chillingworth inte tar hämnd på henne; han svarar att ett skarlakansrikt brev hämnade honom. Esther ber Chillingworth omväxla sig, han kan fortfarande räddas, eftersom detta hat har förvandlat honom från en klok, bara person till djävulen. Det är i hans makt att förlåta, förlåtelse för människor som har kränkt honom kommer att vara hans frälsning. Men Chillingworth kan inte förlåta, hans öde är hat och hämnd.

Esther beslutar att avslöja för Dimsdale att Chillingworth är hennes make. Hon letar efter ett möte med prästen. Till slut möter hon honom i skogen. Dimsdale berättar för henne hur han lider av det faktum att alla anser honom ren och obefläckad, medan han har färgat sig själv med synd. Han är omgiven av lögner, tomhet, död. Esther avslöjar för honom som gömmer sig under namnet Chillingworth. Dimsdale är upprörd: genom Esters fel "utsatte han sin svaga kriminella själ inför ögonen på den som i hemlighet hånade henne." Men han förlåter Esther. Båda tror att synden på Chillingworth är ännu värre än deras synd: han inträffade på människans hjärta. De förstår - Chillingworth, att veta att Esther kommer att avslöja Dimsdale sin hemlighet, uppfinner nya intriger. Esther erbjuder Dimsdale att springa och starta ett nytt liv. Hon håller med med skepparen på fartyget som seglar till Bristol att han kommer att ta ombord två vuxna och ett barn.

Fartyget kommer att segla på tre dagar, och på kvällen till Dimsdale är på väg att läsa en predikan på valdagen. Men han känner att sinnet täcks. Chillingworth erbjuder honom sin hjälp, men Dimsdale vägrar. Folk samlas på torget för att höra Dimsdales budskap. Esther möter en skeppare på ett Bristol-fartyg i folkmassan, och han informerar henne om att Chillingworth också kommer att segla med dem. Hon ser på andra sidan Chillingworth Square som ler olyckligt mot henne. Dimsdale levererar en lysande predikan. Den festliga processionen börjar, Dimsdale beslutar att omvända sig till folket. Chillingworth, inser att detta kommer att underlätta den lidande plågan, och känner att offret glider bort från honom, rusar till honom och ber honom att inte skämma sin heliga värdighet. Dimsdale ber Esther att hjälpa honom att klättra på plattformen. Han står vid pelaren och ångrar sin synd inför folket. Sammanfattningsvis rippar han av den prästiska halsduken och avslöjar bröstet. Hans blick bleknar, han dör, hans sista ord - beröm till den Allsmäktige. Olika rykten kryper runt staden: vissa säger att det fanns en skarlakansröd bokstav på prästkistan - en exakt likhet med den som Esther Prien bär. Andra, tvärtom, hävdar att prästkistan var ren, men när han kände dödsmetoden ville han ge upp andan i armarna på en fallit kvinna för att visa världen hur tveksam rättvisan hos de mest obefläckade människor är.

Efter Dimsdales död blev Chillingworth, som hade tappat meningen med livet, omedelbart förfallen och hans andliga och fysiska styrka lämnade honom på en gång. Inte ens ett år hade gått innan han dog. Han överlämnade hela sin stora förmögenhet till lilla pärla. Efter den gamla doktorns död försvann Esther och hennes dotter, och historien om Esther blev en legend. Många år senare återvände Esther och återigen frivilligt på sig skamens emblem. Hon bor ensam i sitt gamla hus i utkanten av Boston. Pearl, tydligen, lyckligt gift, kom ihåg sin mor, skrev till henne, skickade gåvor och skulle vara glad om Esther bodde med henne. Men Esther ville bo där hennes synd hade hänt - hon trodde att försoning borde också göras där. När hon dog begravdes hon bredvid pastor Dimsdale, men en klyfta lämnades mellan de två gravarna, som om även efter döden asken för dessa två inte hade rätt att blandas.