저는 첫 직장에서 경쟁 상품의 정보를 수집하며 웹 크롤링에 관심을 갖게 되었습니다. 당시 팀은 상하반기 기획을 위해 판매 사이트에서 상품 이름, 가격, 사양 등을 직접 복사해 엑셀에 입력하는 반복 업무를 수행했는데, 600~1,000개의 데이터를 정리하는 일은 큰 불편함으로 다가왔습니다. 이를 계기로 파이썬을 공부하며 자동화 코드를 작성하기 시작했죠. 아마 이 책을 펼친 여러분도 비슷한 불편함을 경험해 보셨을 것이라고 생각합니다.
이 이야기를 들으면 웹 크롤링에 꼭 프로그래밍 공부가 필요하다는 의문이 생길 수 있습니다. 과거에는 "공부를 해야 만들 수 있습니다."라는 답변이 정설이었지만, 상황이 달라졌습니다. 챗GPT와 같은 유용한 도구가 등장하면서 프로그래밍 접근 방식이 크게 변화했기 때문이죠.
최근 유행하는 '바이브 코딩'은 사람의 언어로 프로그램을 만드는 방식을 의미합니다. 예전에는 C, 자바, 파이썬 등의 문법을 배우며 프로그램을 작성해야 했지만, 이제는 "이런 OOO 프로그램 만들어 봐"라는 간단한 지시만으로도 꽤 복잡한 동작을 구현할 수 있습니다. 물론 전문 개발자의 지식이 필요한 경우도 있지만, 일상에 필요한 프로그램은 전문 지식 없이도 누구나 어렵지 않게 만들 수 있게 되었습니다.
이 책은 이런 흐름을 받아들여 챗GPT나 딥시크와 같은 서비스를 통해 웹 크롤링 프로그램을 프롬프팅만으로 쉽게 만듭니다. 프로그래밍을 가르치려는 목적이 없으므로 의도적으로 코드를 설명하는 내용은 한 줄도 넣지 않았습니다. 다시 말해 변수가 어쩌니, 반복문이 어쩌니 하는 내용은 아예 없습니다. 코드를 한 줄 한 줄 입력하라는 말도 없습니다. 대신 프롬프팅에 꼭 필요한 프로그래밍 지식은 프롬프트 입력 단계에서 반복 설명하여 자연스럽게 이해할 수 있도록 했습니다. 정말로 웹 크롤링 프로그램을 5분 정도면 쉽게 만들 수 있을 것입니다. 반복 수집 업무에 들이는 시간을 줄이고 더 중요한 일에 집중하고 싶은 여러분에게 이 책이 조금이라도 도움이 되었으면 합니다.
챗GPT, 클로드, 커서를 끼고 살면서 MCP가 등장하며 자연스럽게 MCP에 관심을 가지게 되었습니다. 처음에 MCP를 접한 건 ‘클로드로 블렌더라는 3D 툴을 제어할 수 있다’라는 소식 때문이었습니다. LLM 기반의 채팅 서비스로 애플리케이션을 제어할 수 있다는 소문에 ‘다른 애플리케이션은 제어를 할 수 없나?’라는 생각이 절로 들었습니다. MCP를 통해 바탕화면을 정리하고, 엑셀로 문서를 작성하고, 크롤링을 하는 등 다양한 작업을 할 수 있겠다는 생각이 들었습니다. 그리고 그것은 현실이었습니다. 스미더리라는 MCP 사이트에서 정말 말도 안되는 MCP 서버들을 알게 되었습니다. 정신 없이 MCP 활용을 하면서 ‘이제 MCP는 구글 검색처럼 기본이 되는 시대가 되겠구나’라는 생각이 들었습니다. 그리고 그 덕분에 스미더리 TOP 100 유저로 선정되어 스미더리 CEO의 디스코드 채널 초대를 받기도 하였습니다. MCP를 IT 비전문가 시선에서 누구보다 많이, 다양하게 써보면서 유용한 내용을 담았고, 10명의 예비 독자를 모집하여 원고를 읽게 하고 개선하며 좋은 책을 만들고자 노력했습니다. 분명 다양한 업무를 자동화하고 싶은 여러분에게 큰 도움이 될 책이라 생각합니다.
