왜 엑셀을 두고 파이썬 판다스를 배워야 할까? 데이터를 다루다 보면 가장 먼저 접하는 도구는 단연 마이크로소프트의 엑셀(Excel)입니다. 엑셀은 직관적이고 가벼운 데이터 정리에 최적화되어 있습니다. 하지만 다루는 행(Row)의 개수가 수십만 건을 넘어가기 시작하면 컴퓨터가 멈추거나 엑셀이 응답 없음 상태에 빠지는 경험을 누구나 한 번쯤 해보셨을 겁니다.

내가 실제로 업무나 토이 프로젝트에서 50만 줄이 넘는 로그 데이터를 엑셀로 열었다가 프로그램이 다운되어 몇 시간 동안 작업한 내용을 날렸던 아픈 기억이 있습니다. 이때 구원투수로 등장하는 것이 바로 파이썬의 라이브러리인 판다스(Pandas)입니다. 판다스는 대용량 데이터를 메모리에 적재하고, 코드 몇 줄로 순식간에 정제, 필터링, 요약할 수 있게 도와줍니다.

판다스의 핵심 개념: 시리즈(Series)와 데이터프레임(DataFrame) 판다스를 처음 공부할 때 가장 먼저 알아야 할 두 가지 핵심 자료 구조가 있습니다. 바로 시리즈와 데이터프레임입니다.

  1. 시리즈(Series): 1차원 배열 형태의 데이터입니다. 엑셀의 '열(Column)' 하나와정확히 일치한다고 생각하면 이해하기 쉽습니다.

  2. 데이터프레임(DataFrame): 행(Row)과 열(Column)이 존재하는 2차원 표 형태의 데이터입니다. 엑셀의 시트 전체, 혹은 데이터베이스의 테이블과 완벽하게 대응됩니다.

우리가 판다스를 쓴다는 것은 결국 이 데이터프레임이라는 강력한 표 형태의 객체를 자유자재로 다루는 법을 익히는 것과 같습니다.

엑셀과 판다스의 결정적 차이점 비교 처음 파이썬 판다스를 접하는 분들이 가장 헷갈려하는 부분을 표 형태로 정리해 보았습니다.

  • 반복 작업 자동화: 엑셀은 매크로(VBA)를 써야 하지만, 판다스는 파이썬 코드 한 줄로 수백 개의 파일에 있는 데이터를 일괄 처리할 수 있습니다.

  • 대용량 처리 능력: 엑셀은 행 제한(약 104만 행)이 있지만, 판다스는 PC 사양이 허락하는 한 훨씬 큰 데이터도 처리 가능합니다.

  • 재현성(Reproducibility): 엑셀은 마우스로 클릭하며 수정하기 때문에 '내가 어떤 과정을 거쳐 이 데이터를 가질게 되었는지' 기억하기 어렵습니다. 반면 판다스는 코드로 기록되므로 언제든 똑같은 결과를 완벽하게 재현할 수 있습니다.

판다스 입문 시 흔히 하는 실수와 주의사항 처음 판다스를 배울 때 엑셀의 관점을 그대로 가져오면 막히는 부분이 많습니다. 예를 들어, 엑셀처럼 마우스로 특정 셀을 클릭해서 값을 수정하려고 하면 안 됩니다. 판다스는 코드로 접근해야 합니다.

또한, 판다스는 강력하지만 모든 데이터 처리를 메모리 위에서(RAM) 진행하기 때문에, 내 컴퓨터의 램 용량을 넘어가는 기가단위의 파일을 열 때는 주의가 필요합니다. 이 부분은 시리즈 후반부 최적화 편에서 자세히 다룰 예정입니다.

[핵심 요약]

  • 판다스는 파이썬에서 대용량 데이터를 빠르고 효율적으로 처리하기 위해 만든 핵심 데이터 분석 라이브러리입니다.

  • 데이터의 기본 구조는 1차원인 시리즈와 2차원인 데이터프레임으로 나뉘며, 이는 엑셀의 열과 시트 개념과 유사합니다.

  • 마우스 클릭 기반의 엑셀과 달리, 판다스는 코드를 통해 반복 작업을 자동화하고 데이터 분석의 재현성을 높여줍니다.