Händelserna i berättelsen "Sign of Four" äger rum i London 1888. Under en tvingad ledighet på grund av brist på beställningar ger den välkända detektivkonsulenten Sherlock Holmes, som bor 221-6 på Baker Street tillsammans med sin vän Dr. Watson, ut till honom hans deduktiva metod, som han använder för att lösa brott. Sherlock Holmes är övertygad om att en observant person kan bevisa existensen av Atlanten och Niagara Falls genom logiska slutsatser, även om han aldrig hade sett dem förut och inte hört något om dem. De minsta detaljerna och fakta bör noteras, eftersom de kan ge ett ovärderligt bidrag till återuppbyggnaden av den fullständiga bilden av händelserna, personens art och brottets omständigheter.
Sherlock Holmes är en lysande detektiv och har encyclopedisk kunskap inom området kriminell kronik och kemi, spelar fiolen bra, har utmärkt fäktning och boxningskompetens, är välbevandrad i geologi, anatomi, botanik, har en extraordinär skådespelare, men inom litteraturområdet, filosofi, astronomi, hans kunskap är noll. Under de timmar när han inte har något att göra, grips han av dödlig uttråkning och finner tröst i morfin och kokain.
Dr. Watson, en vän och följeslagare till Sherlock Holmes, en före detta militärläkare som tjänade med den engelska armén i det indiska kriget med Afghanistan och skadades i detta krig, bor med Holmes i samma lägenhet och är en kroniker av alla fall som hans vän avslöjade.
Till Sherlock Holmes stora glädje avbryts hans tillfälliga ledighet av en viss fröken Morsten, tjugosju år gammal, med ett spiritualiserat och vänligt ansikte som vittnar om själens adel och sympati. Hon berättar för detektiven om konstiga händelser som hände nyligen i hennes liv och ber honom om hjälp. I barndomen förlorade hon sin mamma. Fadern, som tjänade som officer i Indien, skickade sin dotter till ett pensionat i England. 1878, det vill säga för tio år sedan, anlände han till England, som tidigare meddelats i ett telegram. Men när fröken Morsten anlände till hotellet, fick hon reda på att hennes far plötsligt hade försvunnit. Han kom inte tillbaka nästa dag, kom aldrig tillbaka igen. Sedan började hon 1882 plötsligt varje år att få från någon en mycket vacker och stor pärla. Och på besöksdagen fick hon ett brev till Holmes där hon bad henne komma till Lyceum-teatern på kvällen, där hon sa att hon hade behandlats orättvist och att någon ville korrigera denna orättvisa.
Sherlock Holmes och Dr. Watson går till den angivna platsen med henne. Innan hon lämnar, visar hon Holmes en konstig anteckning, som finns i tillhörigheterna till den saknade Morsten, som skildrade en plan för ett rum, med fyra kors målade i rad på samma plats, med tvärbalkar i kontakt med varandra och med en pretentiös signatur: "tecken på fyra." Personen som de träffade tar dem med i en hytt till södra London. Där möter de en liten rödhårig man med ett blankt kallt huvud. Det visar sig att han är en av tvillingsönerna till major Sholto, som dog för sex år sedan, Tadeusz Sholto. Hans far och far fröken Morsten tjänade en gång tillsammans i Indien i kolonialstyrkorna. Där avgick major Sholto, mystiskt rika, för elva år sedan och återvände till England med en rik samling orientaliska rariteter och en hel stab av infödingar. Majoren avslöjade inte hemligheten med förvärvet av skatter och var de hölls tills hans död, och kände hennes tillvägagångssätt och kallade sina söner till honom och berättade hur kapten Morsten dog. Det visade sig att han, när han anlände till London för tio år sedan, kom till Sholto och de hade en tvist om uppdelningen av skatter, som Morsten visste och hälften av var på grund av honom. Han, som lider av ett ont i hjärtat, fick en attack. Sedan föll han och, efter att ha slått huvudet på hörnet av skattkistan, dog han. I fruktan för att han skulle anklagas för mord gömde Sholto kaptenens kropp och sa inte något till sin dotter när hon några dagar senare letade efter sin försvunna far kom till hans hus. Före sin död ville han också avslöja sina söner om själva kistan dold, men ett fruktansvärt ansikte utanför fönstret hindrade honom från att göra detta. Han dog och tog hemligheten med sig till graven. Hans söner, som kände en plikt mot fröken Morsten och ville befria henne från åtminstone behov, började skicka henne varje år en pärla med pärlapärlor, som en gång togs bort av sin far från kistan. För närvarande visste Tadeusz Sholto och hans bror Bartholomew inte ens var rikedomarna gömde sig. Dagen före, efter många år av misslyckade sökningar, fann Bartholomew dem emellertid på vinden i sitt hus, i ett hemligt muromgärdat rum. Han rapporterade detta till Tadeusz. Han, trots sina invändningar från sin bror, som ärvde hans snålhet från sin far, beslutade att dela skatterna med fröken Morsten. Alla fyra går till Bartholomew. De upptäcker emellertid att han dödades av en giftig torn som kastades i hans nacke, att skatterna var stulna och att ett papper med ”tecknet på fyra” lämnades på brottplatsen.
Små detaljer gör att Sherlock Holmes antar att två personer är brottslingar - en rånad fängslad med namnet Jonathan Small, som har en träprotes istället för sitt högra ben, och nummer ett, en vilde från Andamanöarna, är liten, mycket arg och kvick. Efter att han hjälpt Small tillsammans med kistan att komma ner genom fönstret från repet stängde han fönsterluckorna från insidan och kom ut genom vinden. När han körde fick han sin fot smutsig i kreosot, och Holmes, med hjälp av snifferhunden Toby, följde hans fotspår till floden. Där fick han reda på att brottslingarna gick ombord på en hyrd Aurora-båt. När Holmes planerar att spåra upp en båt med hjälp av en hyrd gäng pojkar går sönder, går han, klädd som en gammal sjöman, på jakt efter Aurora och försöker hitta henne på bryggorna. Han lyckas. Han ropar till hjälp av Scotland Yard Inspector Ethelny Jones som undersöker mordet, och de, tillsammans med Dr. Watson, jagar en polisbåt och fångar kriminella med en kista. När han jagar en vilde måste han dödas, för han börjar skjuta på sina förföljare med sina giftiga taggar. Dr. Watson tar kistan till fröken Morsten, men i slutändan visar det sig att han är tom, vilket läkaren är oerhört glad eftersom barriären som enligt hans åsikt har uppstått mellan honom och den unga kvinnan på grund av hennes påstådda rikedom försvinner. Nu kan han fritt bekänna hennes kärlek och erbjuda sin hand och hjärta. Fröken Morsten tycker att hans erbjudande är mycket attraktivt. Små, som insåg att han oundvikligen skulle fångas upp, kastade smycken i Themsen, för han ville inte låta någon annan få det. Bartholomew Sholtos död var inte en del av hans planer, och det var inte han som dödade honom, utan den onda vilde utan Smalls vetskap. För att övertyga Sherlock Holmes och Ethelney Jones om detta berättar han historien om sitt liv. I sin ungdom tog han sig som soldat i regementet, skickat till Indien. Men han måste snart avbryta tjänsten: när han badade i Tanga, krokodilen bit av benet ovanför knäet, och han blev en hjälplös kram. Sedan, när han arbetade som övervakare på en plantage, började plötsligt ett uppror i landet. Small skyndade sig mot Agra och gick med i den brittiska enheten som gömde sig i Agra-fästningen, och han fick tilltro till att skydda en av ingångarna till fästningen och fick två sikher. Den tredje natten fångade sikherna Small och konfronterade honom med ett val: att vara med dem eller hålla käften för evigt. De berättade för honom om sin plan: i de norra provinserna bodde det en mycket rik raja. Han beordrade en del av sin rikedom att dölja tjänaren Akhmet i Agra-fästningen fram till krigsslutet, så att i händelse av seger räddade briterna åtminstone detta bröst Sikharna och Akmetes följeslagare, deras medbrottsling, ville döda honom och ta besittningen av kisten. Small bestämde sig för att gå med dem och lovade troskap mot dem. Alla fyra genomförde sin plan. De gömde den mördade Akhmet i en av hallarna i den gamla fästningen, där ingen någonsin hade kommit in. Bröstet var murat i väggen i samma hall. Var och en av dem fick en anteckning med en plan och symboliserade deras trohet mot varandra med ”tecknet på fyra”. Därefter dömdes de alla till livstids fängelse för mord. När de avtjänade sina straff kunde de inte använda sin rikedom. Därefter enades Small med Sholto och Morsten, som bevakade fängelset, att han skulle berätta för dem var kistan gömdes, de skulle få sin del, och i gengäld skulle de ordna en flykt för de fyra fångarna. Sholto, som gick för kistan, lurade alla och återvände ensam till England. Sedan dess började Small bara leva med tanken på hämnd. Han flydde från fängelset med hjälp av en vän - en infödd vid namn Tongo. I England tog han kontakt med en av major Sholtos tjänare och väntade på rätt ögonblick. Det var Small som tittade ut genom fönstret till den döende majoren. Han väntade i vingarna och stal skatterna. För Bartholomews död lossade han Tongo med ett rep. Det var historien om Jonathan Small.
Skatter gick inte till någon. Dr. Watson fick fru Morsten, Ethelney Jones - berömmelse för det lösta brottet, och Holmes var nöjd med en ampull av kokain.