Spreadsheet analysis-ൽ വരുന്ന ഭൂരിഭാഗം പിഴവുകളും സംഭവിക്കുന്നത് ആദ്യത്തെ formula എഴുതുന്നതിന് മുൻപ് തന്നെയാണ് – അതായത് data ക്രമീകരിച്ചിരിക്കുന്ന രീതിയിൽ (layout). നിങ്ങളുടെ data ചില ലളിതമായ “tidy” നിയമങ്ങൾ പാലിക്കുന്നുണ്ടെങ്കിൽ, sorting, filtering, formulas, Tables, PivotTables എന്നിവയെല്ലാം വളരെ സുഗമമായി പ്രവർത്തിക്കും; ഇല്ലെങ്കിൽ, ഓരോ ഘട്ടവും ഓരോ workaround ആയി മാറും.
1. എന്താണ് Tidy (Tabular) Data?
ഒരു dataset-ന്റെ ഘടന (structure) അതിന്റെ അർത്ഥവുമായി (meaning) പൊരുത്തപ്പെടുന്ന രീതിയിൽ ക്രമീകരിക്കുന്നതിനെയാണ് Tidy data എന്ന് വിളിക്കുന്നത്. Statisticians പ്രധാനമായും ഇതിനെ മൂന്ന് നിയമങ്ങളായി നിർവചിക്കുന്നു:
- Each variable is a column: Roll number, name, subject, marks എന്നിവയ്ക്ക് ഓരോ പ്രത്യേക column ഉണ്ടായിരിക്കണം.
- Each observation is a row: One row = one record (ഉദാഹരണത്തിന്, ഒരു വിഷയം സംബന്ധിച്ച ഒരു വിദ്യാർത്ഥിയുടെ mark).
- Each value is a cell: ഒരു cell-ൽ ഒരൊറ്റ വിവരം മാത്രമേ ഉണ്ടാകാവൂ – “17/20”, “Anjana (S01)”, “45 mm” എന്നിങ്ങനെ ഒന്നിലധികം കാര്യങ്ങൾ ഒന്നിച്ച് ചേർക്കരുത്.
പ്രായോഗിക നിയമങ്ങൾ (Excel Rules): Excel-നായി ഇതിൽ നിന്ന് വരുന്ന രണ്ട് പ്രായോഗിക നിയമങ്ങൾ:
- One header row, at the top: Data range-ന്റെ ആദ്യ വരിയിൽ ചെറുതും unique ആയതുമായ column names നൽകുക – data-യ്ക്ക് മുകളിൽ merged titles അല്ലെങ്കിൽ two-row headings ഒഴിവാക്കുക.
- One dataset per block: Data-യ്ക്കുള്ളിൽ blank rows അല്ലെങ്കിൽ blank columns പാടില്ല, records-ന് ഒപ്പം “Total” rows ചേർക്കരുത്, data-യ്ക്ക് വശങ്ങളിലായി notes ടൈപ്പ് ചെയ്തു വെക്കരുത്.
Worksheet data ഓർഗനൈസ് ചെയ്യുന്നതിനായുള്ള Microsoft-ന്റെ ഔദ്യോഗിക guidelines-ഉം ഇതേ കാര്യങ്ങൾ വ്യക്തമാക്കുന്നു: ഒരേ തരത്തിലുള്ള items ഒരേ column-ൽ ഉൾപ്പെടുത്തുക, column labels ആദ്യ വരിയിൽ നിലനിർത്തുക, data range-നുള്ളിൽ blank rows, columns എന്നിവ ഒഴിവാക്കുക, ഒപ്പം sorting, searching എന്നിവയെ ബാധിക്കാതിരിക്കാൻ cells-ന്റെ തുടക്കത്തിലോ അവസാനത്തിലോ ഉള്ള leading/trailing spaces ഒഴിവാക്കുക.
ഒരു statistician-െ സംബന്ധിച്ച് ഇത് എന്തുകൊണ്ട് പ്രധാനമാണ്? കാരണം, ഒരു tidy sheet എന്നത് അടിസ്ഥാനപരമായി ഒരു data matrix ആണ്: rows എന്നാൽ cases ആണ്, columns എന്നാൽ variables ആണ്. AVERAGE മുതൽ regression വരെയുള്ള എല്ലാ statistical tools-ഉം ഈയൊരു format ആണ് പ്രതീക്ഷിക്കുന്നത്.
2. Step-by-Step: Excel 365 (Windows)-ൽ ഒരു Sheet വൃത്തിയാക്കാം (Tidying)
- Step 1 (Keep the original: )മാറ്റങ്ങളൊന്നും വരുത്താത്ത യഥാർത്ഥ data Raw എന്ന പേരിലുള്ള sheet-ലേക്ക് copy ചെയ്യുക. Data cleaning മുഴുവൻ Clean എന്ന പേരിൽ ഒരു പുതിയ sheet നിർമ്മിച്ച് അതിൽ ചെയ്യുക. ഒരിക്കലും raw data നേരിട്ട് edit ചെയ്യരുത്.
- Step 2 (Unmerge cells: )Data area select ചെയ്ത ശേഷം Home > Merge & Center (drop-down arrow) > Unmerge Cells നൽകുക. Cells merge ചെയ്തിരുന്നപ്പോൾ മുകളിലെ ഇടതുവശത്തെ cell-ലെ content മാത്രമേ അവശേഷിച്ചിട്ടുണ്ടാകൂ എന്നതിനാൽ നഷ്ടപ്പെട്ട values പരിശോധിക്കുക.
- Step 3 (Write one header row: )ഒന്നാമത്തെ വരിയിൽ ചെറുതും unique ആയതുമായ പേരുകൾ നൽകുക (ഉദാ: RollNo, Name, Subject, Marks). പേരുകളുടെ തുടക്കത്തിലും അവസാനത്തിലും spaces വരുന്നത് ഒഴിവാക്കുക.
- Step 4 (Split combined columns: )Separator ഉപയോഗിച്ച് ചേർത്തിരിക്കുന്ന values ഉണ്ടെങ്കിൽ (ഉദാ: “Kozhikode, 2024”), column select ചെയ്ത് Data > Text to Columns ഉപയോഗിക്കുക; Delimited തിരഞ്ഞെടുത്ത്, അനുയോജ്യമായ separator നൽകി, preview പരിശോധിച്ച ശേഷം Destination set ചെയ്ത് Finish ക്ലിക്ക് ചെയ്യുക. “Anjana K (S01)” പോലെയുള്ള സന്ദർഭങ്ങൾക്ക് formulas ഉപയോഗിക്കുന്നതാണ് കൂടുതൽ എളുപ്പം.
- Step 5 (Remove non-data rows: )Data block-ൽ നിന്ന് blank rows, subtotal/total rows, remarks rows എന്നിവ നീക്കം ചെയ്യുക. Formula വഴി കണക്കാക്കുന്ന Totals ഉൾപ്പെടുത്തേണ്ടത് analysis sheet-ലാണ്.
- Step 6 (Store one type per column: )Marks കോളത്തിൽ numbers മാത്രമേ ഉണ്ടാകാവൂ. “AB” പോലെയുള്ള codes മാറ്റി അവിടെ empty cell നൽകുകയും, Status (“Absent”) രേഖപ്പെടുത്താൻ പ്രത്യേക column ഉപയോഗിക്കുകയും ചെയ്യുക.
- Step 7 (Reshape wide to long when needed: )ഒരേ variable ഒന്നിലധികം columns-ലേക്ക് വിന്യസിച്ചിട്ടുണ്ടെങ്കിൽ (ഉദാഹരണത്തിന്, ഓരോ വിഷയത്തിനും അല്ലെങ്കിൽ ഓരോ മാസത്തിനും പ്രത്യേക columns), ഓരോ വരിയെയും subject അടിസ്ഥാനത്തിൽ ഓരോ വരിയായി മാറ്റാം. വലിയ datasets ആണെങ്കിൽ, Power Query വഴി ഇത് ചെയ്യാം: Data > Get & Transform Data > From Table/Range, ആവശ്യമുള്ള columns select ചെയ്ത് Transform > Unpivot Columns തിരഞ്ഞെടുക്കുക.
- Step 8 (Convert to an Excel Table: )Data-യ്ക്കുള്ളിൽ ക്ലിക്ക് ചെയ്ത് Ctrl+T (അല്ലെങ്കിൽ Ctrl+L) അമർത്തുക; My table has headers എന്നത് tick ചെയ്തിട്ടുണ്ടെന്ന് ഉറപ്പാക്കി OK നൽകുക. (ഇത് Home > Format as Table വഴിയും ലഭ്യമാണ്).
മറ്റ് പതിപ്പുകൾ (Other Versions): Text to Columns, Unmerge, Format as Table എന്നിവ Excel 2016–2024 പതിപ്പുകളിലും സമാനമായി പ്രവർത്തിക്കുന്നു. Mac-ൽ Table shortcut Cmd+T ആണ്. Mac-ലും പഴയ പതിപ്പുകളിലും Power Query options വ്യത്യാസപ്പെടാമെന്നതിനാൽ Step 7-ലെ Power Query രീതിയെ ഒരു optional മാർഗ്ഗമായി കാണുക.
3. Worked Example: ഒരു Internal-Marks Sheet
ഒരു അധ്യാപകൻ രണ്ട് papers-ന്റെ Semester 5 internal marks (20-ൽ) രേഖപ്പെടുത്തിയ sheet താഴെ നൽകുന്നു. ഇത് ഒറ്റനോട്ടത്തിൽ കുഴപ്പമില്ലെന്ന് തോന്നുമെങ്കിലും analysis-ready അല്ല.
Raw Sheet (Untidy) – Row 1: Merged Title ‘B.Sc Statistics – Sem 5 Internal Marks’
| Row | A (Student) | B (Stat Inference) | C (Sampling) | D (Remarks) |
| 2 | Student | Stat Inference | Sampling | Remarks |
| 3 | Anjana K (S01) | 18 | 17/20 | |
| 4 | Fathima R (S02) | AB | 15 | absent for SI |
| 5 | ||||
| 6 | Midhun P (S03) | 16 | 19 | |
| 7 | Total | 34 | 51 |
പ്രശ്നങ്ങൾ (Identified Problems): Header-ന് മുകളിലായി merged title ഉണ്ട്; പേരും roll number-ഉം ഒരൊറ്റ cell-ൽ നൽകിയിരിക്കുന്നു; “17/20” എന്നത് number അല്ല, text ആണ്; “AB” നൽകിയതിലൂടെ numeric column-ലേക്ക് text കടന്നുവന്നു; വരി 5-ൽ വന്ന blank row കാരണം range മുറിഞ്ഞുപോയി; Total row കിടക്കുന്നത് data-യ്ക്കുള്ളിലാണ്; remarks നൽകിയിരിക്കുന്നത് data-യ്ക്ക് വശങ്ങളിലാണ്.
Helper Formulas (Clean sheet-ൽ നിന്ന് Raw sheet-ലേക്ക് ബന്ധിപ്പിക്കാൻ)
- Name: =TRIM(LEFT(Raw!A3, FIND(“(“, Raw!A3) – 1)) → Anjana K
- Roll Number: =MID(Raw!A3, FIND(“(“, Raw!A3) + 1, 3) → S01
- Mark from ’17/20′: =VALUE(LEFT(Raw!C3, FIND(“/”, Raw!C3) – 1)) → 17
Clean Sheet (Tidy, Long Format) – Table Name: Marks
| RollNo | Name | Subject | Marks | MaxMarks | Status |
| S01 | Anjana K | Statistical Inference | 18 | 20 | Present |
| S01 | Anjana K | Sampling | 17 | 20 | Present |
| S02 | Fathima R | Statistical Inference | 20 | Absent | |
| S02 | Fathima R | Sampling | 15 | 20 | Present |
| S03 | Midhun P | Statistical Inference | 16 | 20 | Present |
| S03 | Midhun P | Sampling | 19 | 20 | Present |
ഇവിടെ ഓരോ column-ഉം ഓരോ variable ആണ്, ഓരോ row-ഉം ഓരോ student–subject observation ആണ്, ഓരോ cell-ലും ഓരോ value മാത്രമേയുള്ളൂ. പരീക്ഷയെഴുതാത്ത കുട്ടിയുടെ മാർക്ക് പൂജ്യമോ “AB”-യോ നൽകാതെ blank ആയി നിലനിർത്തി, ആ വിവരം Status കോളത്തിൽ രേഖപ്പെടുത്തിയിരിക്കുന്നു.
Analysis Sheet (Raw, Clean എന്നിവയിൽ നിന്ന് വേറിട്ടുനിൽക്കുന്നത്)
- Total of all marks: =SUM(Marks[Marks]) → 85
- Number of marks recorded: =COUNT(Marks[Marks]) → 5
- Number of records: =ROWS(Marks) → 6
ഇതിൽ നിന്ന് നാം എന്താണ് മനസ്സിലാക്കുന്നത്? ക്ലാസ്സിൽ 3 വിദ്യാർത്ഥികൾ × 2 papers = 6 observations ആണുള്ളത്, എന്നാൽ രേഖപ്പെടുത്തിയ മാർക്കുകൾ 5 എണ്ണം മാത്രമാണ് (ഒരാൾ absent ആയതിനാൽ). ക്രമീകരിക്കാത്ത (untidy) sheet-ൽ “AB” എന്നത് SUM formula സ്വാഭാവികമായി ഒഴിവാക്കിയിരുന്നു; അശ്രദ്ധനായ ഒരാൾ അവിടെ 0 എന്ന് ചേർത്താൽ Statistical Inference-ന്റെ average 17-ൽ നിന്ന് 11.3-ലേക്ക് താഴും. എന്നാൽ tidy layout വഴി missing value വ്യക്തമായി തിരിച്ചറിയാനും, പരീക്ഷയെഴുതിയ വിദ്യാർത്ഥികളെ മാത്രം ഉൾപ്പെടുത്തി ശരിയായ average (85 ÷ 5 = 17) കണ്ടെത്താനും സാധിക്കുന്നു.
4. നിങ്ങളുടെ ഫലം എങ്ങനെ പരിശോധിക്കാം (Verification)
- Row count check: വിദ്യാർത്ഥികളുടെ എണ്ണം × വിഷയങ്ങളുടെ എണ്ണം എന്നത് ആകെ rows-ന്റെ എണ്ണത്തിന് തുല്യമായിരിക്കണം (3 × 2 = 6).
- Total check: Tidy sheet-ലെ ആകെ തുക (85), raw data-യിലെ column totals-ന്റെ തുകയ്ക്ക് തുല്യമായിരിക്കണം (34 + 51 = 85). വ്യത്യാസമുണ്ടെങ്കിൽ cleaning ചെയ്യുമ്പോൾ ഏതെങ്കിലും value നഷ്ടപ്പെടുകയോ തെറ്റായി രേഖപ്പെടുത്തുകയോ ചെയ്തിട്ടുണ്ടാകാം.
- Type check: COUNT function നമ്പറുകൾ മാത്രമേ കണക്കാക്കൂ. =COUNT(Marks[Marks]) നൽകുന്ന മൂല്യം പ്രതീക്ഷിച്ചതിലും കുറവാണെങ്കിൽ, ചില “numbers” ഇപ്പോഴും text ആയി കിടക്കുന്നുണ്ട് എന്ന് മനസ്സിലാക്കാം.
5. സാധാരണയായി വരുത്തുന്ന പിഴവുകൾ (Common Mistakes)
- Merged cells and multi-row headings: ഇവ sorting, filtering, Table creation എന്നിവയെ തടസ്സപ്പെടുത്തുന്നു. അതിനാൽ ലളിതമായ ഒരു header row മാത്രം ഉപയോഗിക്കുക.
- Numbers stored with units or symbols (“45 mm”, “17/20”, “₹1,200/-“): യൂണിറ്റുകൾ എപ്പോഴും column name-ൽ നൽകുക (ഉദാ: Rainfall_mm), cell-ൽ നമ്പർ മാത്രം സൂക്ഷിക്കുക.
- Totals, blank rows and notes inside the data: ഒരു blank row കണ്ടാൽ അത് data range-ന്റെ അവസാനമാണെന്ന് Excel അനുമാനിച്ചേക്കാം; ഒപ്പം Total row ഒരു സാധാരണ observation ആയി തെറ്റായി കണക്കാക്കപ്പെടാം.
- Using colour as data (ഉദാ: “failed” ആയവയ്ക്ക് red fill നൽകുന്നത്): പല analytical tools-ലും നിറങ്ങൾ കൃത്യമായി filter ചെയ്യാനോ count ചെയ്യാനോ കഴിയില്ല – പകരം അതിനായി പുതിയൊരു column ചേർക്കുക.
- Editing the only copy: യഥാർത്ഥ raw data മാറ്റമില്ലാതെ മറ്റൊരു sheet-ൽ സൂക്ഷിക്കുക; എങ്കിൽ മാത്രമേ cleaning പ്രക്രിയ കൃത്യമായി പരിശോധിക്കാനും ആവർത്തിക്കാനും സാധിക്കൂ.
6. Practice Exercise
ഒരു ജില്ലാ ഓഫീസിൽ രേഖപ്പെടുത്തിയിട്ടുള്ള പ്രതിമാസ മഴയുടെ അളവ് (mm) താഴെ നൽകുന്നു:
| District | June | July | August |
| Kozhikode | 812 mm | 945 mm | 410 mm |
| Wayanad | 690 mm | 1,020 mm | 385 mm |
| Malappuram | 745 mm | 870 mm | 402 mm |
- (a) Tidy version-ൽ ഉണ്ടായിരിക്കേണ്ട columns ഏതെല്ലാമാണ്?
- (b) ഇതിൽ ആകെ എത്ര data rows ഉണ്ടാകും?
- (c) വയനാട്ടിലെ ആകെ മഴയുടെ അളവ് എത്രയാണ്, ഇത് എങ്ങനെ പരിശോധിക്കാം?
ഉത്തരം (Answers):
(a) District, Month, Rainfall_mm (numbers മാത്രം, “mm” എന്നത് header-ലേക്ക് മാറ്റണം).
(b) 3 ജില്ലകൾ × 3 മാസങ്ങൾ = 9 rows.
(c) വയനാട്ടിലെ ആകെ മഴ = 690 + 1020 + 385 = 2,095 mm. Tidy Table-ൽ District = Wayanad എന്ന് filter ചെയ്ത് status-bar Sum നോക്കിയോ, അല്ലെങ്കിൽ 9 വരികളിലെയും ആകെ തുക മുൻപത്തെ 3 മാസങ്ങളിലെ കോളങ്ങളുടെ ആകെ തുകയ്ക്ക് തുല്യമാണോ (2,247 + 2,835 + 1,197 = 6,279 mm) എന്ന് നോക്കിയോ ഇത് ഉറപ്പാക്കാം.
7. പ്രധാന കാര്യങ്ങൾ ചുരുക്കത്തിൽ (Key Takeaways)
- Tidy data = ഓരോ variable-നും ഓരോ column, ഓരോ observation-നും ഓരോ row, ഓരോ value-വിനും ഓരോ cell.
- One Header: മുകളിൽ ഒറ്റ header row മാത്രം ഉപയോഗിക്കുക; data-യ്ക്കുള്ളിൽ merged cells, blank rows, totals, notes എന്നിവ ഒഴിവാക്കുക.
- Numbers as Numbers: units ഹെഡറുകളിലേക്ക് മാറ്റുക, missing values ബ്ലാങ്ക് ആയി നിലനിർത്തി status column വഴി രേഖപ്പെടുത്തുക.
- Separate Sheets: പഠനവും അപഗ്രഥനവും സുതാര്യമാക്കാൻ Raw, Clean/Analysis, Output എന്നിവ വെവ്വേറെ sheets-ൽ സൂക്ഷിക്കുക.
- Verification: Analysis നടത്തുന്നതിന് മുൻപായി row counts, totals എന്നിവ പരിശോധിച്ചുറപ്പാക്കുക.