구글 자연어 처리 기술의 결정판, 딥랭크 알고리즘 공개

구글은 2011년 2월 알고리즘 판다(Panda)를 시작으로 검색 품질 향상을 위한 알고리즘을 지속적으로 개발해 왔습니다.

2013년에는 허밍버드(HummingBird) 알고리즘을 통해 검색의 자연어 처리가 가능하게 하였고 2015년에는 랭크브레인(Rank Brain) 알고리즘으로 키워드별 컨텐츠의 관련성과 품질을 측정하도록 하여 심화하였습니다.

2019년 알고리즘 버트(Bert)는 검색어에 대한 자연어 분석과 텍스트적 해석을 가능하게 하여 현재는 구글 검색 알고리즘의 코어 알고리즘으로 적용되어 있습니다.

구글은 최근 버트(Bert) 알고리즘에서 자연어 처리 분석 과정이 보다 개선된 딥랭크(DeepRank) 알고리즘의 내부 프로젝트 결과를 승인하였으며 유튜브 공식 채널을 통해 새로운 알고리즘에 대하여 공유하였습니다.

딥랭크(DeepRank) 알고리즘의 핵심은 검색 결과 내 관련이 없는 단어를 구분하게 됩니다.

이는 사람들이 말하는 자연스러운 방식의 문장 쿼리를 구문 단위로 분석하여 의미의 미묘함을 찾아 냅니다.

영상의 예로 구글에 “What do you preheat the oven to for cooking fish?”에 대한 질문을 던졌을 대 기존의 알고리즘 결과로 fish를 제외한 단어들에 대한 연관 검색 결과를 제공하였으나, 딥랭크(DeepRank)가 적용된다면 가장 중요한 키워드가 ‘fish’임을 잡아내고 이에 관련한 결과 만을 보여주게 됩니다.

Bert 알고리즘의 핵심은 결과검색내 관계가 없는 단어를 구분하게 됩니다.
이는 사람들이 말하는 자연스러운 방식의 문장 쿼리를 구문분석하여 의미의 미묘함을 찾아냅니다.

영상의 예로 구글에 “What do you preheat the oven to for cooking fish?”에 대한 질문을 던졌을 대 기존의 알고리즘 결과로 fish를 제외한 단어들에 대한 연관 검색 결과를 제공하였으나, DeepRank가 적용된다면 가장 중요한 키워드가 ‘fish’임을 잡아내고 이에 관련한 결과만을 보여주게 됩니다.

Google DeepRank 구글 딥랭크 알고리즘 업데이트

또 다른 예로 “Can you get medicine for someone pharmacy?”라는 다소 모호한 의미의 검색을 하였을때, DeepRank는 문장내 단어들의 의미기여도(attribution)을 확인하여 적절한 결과를 도출하게 됩니다.

DeepRank Update by Google

언어의 뉘앙스를 포착

딥랭크(DeepRank) 알고리즘은 딥러닝 기술을 기반으로 인간에게는 자연스럽지만 프로그래밍하기 어려운 언어의 미묘한 뉘앙스을 포착합니다.

보다 심화된 자연어 처리를 위해서 필요한 귀납적 학습 데이터베이스 구축을 위해 구글은 테스트 단계부터 엄청난 성능의 하드웨어 인프라를 구축해야 했으며 수 많은 인력이 투입되었습니다.
구글 기술 지원팀의 이번 알고리즘 승인에 대해서 내부적으로 상당히 만족하고 기뻐하고 있습니다.

아래 영상의 42분부터 딥랭크(DeepRank)에 대한 보다 상세한 내용을 확인할 수 있으며 구글이 이번 딥랭크 알고리즘에 얼마만큼의 심혈을 기울였는지 확인하실 수 있습니다.