생성형 AI와 로보틱스 융합으로 구현된 언어 기반 객체 제작 기술
‘말로 설계하고 로봇이 조립하는’ 피지컬 AI 시스템을 통해 비전문가도 손쉬운 3D 제작 가능
자연어 한 줄로 실제 가구나 구조물을 설계하고, 로봇이 사용자의 지시에 따라 직접 제작까지 수행하는 기술이 현실화되었습니다. 미국 매사추세츠공과대학교(MIT) 연구진은 생성형 인공지능과 로보틱스를 접목한 언어 기반 물리 객체 제작 시스템을 발표하며, 물리적 제작의 진입 장벽을 크게 낮추고자 하였습니다.
자연어 입력만으로 진행되는 3D 설계 자동화
이번에 공개된 시스템의 핵심은 자연어 설계 기반의 자동화입니다. 사용자가 "의자를 만들어줘" 또는 "선반이 필요해"와 같은 문장을 입력하면, AI는 이를 인식하여 해당 물체의 3차원 구조를 자동 생성합니다. 이러한 방식은 기존 CAD(Computer-Aided Design) 도구와 달리 복잡한 조작이나 전문 지식이 필요 없다는 점에서 주목받고 있습니다.
이 시스템은 두 개의 생성형 AI 모델로 구성되어 있습니다. 하나는 기하학적 구조의 생성을 담당하고, 다른 하나는 기능과 사용 목적에 기반해 구성 요소의 배치를 분석합니다. 이로 인해 좌석, 등받이, 프레임 등 다양한 부품이 자동 계산되어 설계에 반영됩니다.
"사용자의 지시만으로도 좌석, 등받이, 구조 프레임 등 가구의 핵심 요소를 자동 판단해 설계할 수 있습니다."
시각-언어 융합 모델(VLM)의 역할
기술의 중심에는 비전-언어 모델(Vision-Language Model, VLM)이 있습니다. VLM은 이미지와 텍스트를 동시 처리할 수 있으며, 사전 학습된 다양한 시각 데이터를 활용해 구조 부품과 패널의 결합 방식을 효율적으로 예측합니다.
VLM은 예를 들어 좌석이나 등받이에 패널이 필요한지를 파악한 후, 그 정보를 텍스트 라벨 형식으로 전환하고 각 부품 표면에 고유한 번호를 부여합니다. 이후 AI는 이 데이터를 기반으로 각 패널의 정확한 부착 위치를 자동 결정하여 3D 설계에 반영합니다. 이로써 메커니즘 설계에 필요한 복잡한 과정이 자동화되었습니다.
"VLM은 로봇에게 눈과 두뇌를 동시에 제공하며, 구조를 인식하고 기능을 예측할 수 있는 능력을 갖추게 합니다."
사용자 피드백 반영하는 휴먼-인-더-루프 구조
해당 기술은 사용자의 실시간 피드백을 수용할 수 있는’휴먼 인 더 루프(Human-in-the-loop)&39; 방식을 채택하고 있습니다. 이는 사용자의 만족도를 향상시키는 주요 요인으로 작용합니다.
예를 들어 사용자가 "좌석에는 패널을 사용하지 말고 등받이에만 부착해달라"고 요청하면, 시스템은 기존 설계를 즉시 수정하여 그 요구를 반영합니다. 이를 통해 결과물이 더 높은 정확도와 만족도를 달성할 수 있습니다. MIT 연구진은 이 구조를 통해 사용자가 주도적으로 설계에 참여할 수 있다고 강조하였습니다.
"피드백이 설계에 즉시 반영되어 결과 활용도가 크게 향상됩니다."
실제 물체 조립까지 나아간 로보틱스 시스템
설계가 완료되면 조립은 로봇 시스템이 담당하게 됩니다. 로봇은 미리 제작된 구조 부품과 패널을 기준으로 설계된 3D 모델을 조립하며, 전체 제작 과정을 자동으로 진행합니다.
본 기술은 의자나 선반 제작에 적용되어 실제 사용 가능한 가구 제작이 완료되었으며, 모든 부품은 분해와 재조립이 가능하도록 설계되어 자원 재사용 및 낭비 절감을 고려하였습니다. 이에 따라 해당 기술은 친환경적인 제조 시스템으로도 평가받고 있습니다.
"모든 부품은 재조립에 최적화되어 폐기물 발생을 최소화할 수 있습니다."
사용성 평가 및 기술 확장성
MIT 연구진은 시스템의 실효성을 검증하기 위해 사용자 연구를 함께 진행하였습니다. 그 결과 응답자의 90% 이상이 기존 방식에 비해 본 기술이 생성한 설계물이 더 만족스럽고 직관적이라고 평가하였습니다.
또한 이 기술은 가구 제작에 국한되지 않고, 건축 구조물이나 항공우주 부품, 산업용 맞춤 설계 등 복잡한 다중 구성 요소를 요구하는 다양한 분야로의 확장이 가능하다는 점에서 의미가 큽니다. 궁극적으로는 개인이 가정 내에서 로봇과 대화하며 가구를 직접 제작할 수 있는 환경도 기대할 수 있습니다.
"아이디어를 빠르게 실현하고 반복 제작할 수 있는 유연한 설계 시스템입니다."
주요 연구진 및 학술 발표
이번 연구는 MIT 전기전자공학 및 컴퓨터과학과, 건축학과 대학원 공동 연구진 주도로 진행되었습니다. 특히 메인 연구자인 알렉스 쿄(Alex Kyaw)와 리차 굽타(Richa Gupta)는 비전-언어 모델의 적용과 설계 피드백 통합에 중요한 기여를 하였습니다.
더불어 구글 딥마인드(Google DeepMind)와 오토데스크 리서치(Autodesk Research)도 연구에 참여하여 학제 간 협력의 성과를 보여주었습니다. 연구 결과는 2025년 12월 2일부터 7일까지 미국 샌디에이고에서 개최된 인공지능 학계 최고 권위의 학회 중 하나인 신경정보처리시스템학회(NeurIPS 2025)에서 발표되었습니다. 발표 논문의 제목은 다음과 같습니다.
‘3D 생성형 AI 및 비전 언어 모델을 활용한 다중 구성 요소 객체의 텍스트 기반 로봇 조립(Text to Robotic Assembly of Multi Component Objects using 3D Generative AI and Vision Language Models)’
마치며
언어 명령만으로 물리 객체를 설계하고 제작할 수 있는 피지컬 AI 기술은 설계와 생산의 미래를 재정의하는 중요한 전환점이 될 수 있습니다. 이 기술은 고도의 전문성을 요구하던 설계 과정에 일반 사용자의 접근을 가능케 함으로써, 보다 지속 가능하고 혁신적인 제품 개발의 기반이 될 수 있을 것입니다.
3D프린팅 기술의 발전은 사용자 중심의 설계 프로세스를 더욱 현실화하고 있습니다. 한양3D팩토리는 이러한 변화를 지원하며, 고객들이 창의적이고 실용적인 제품을 개발할 수 있도록 돕고 있습니다.
