빅 데이터 딥 러닝 파이프라인 가속화

빅 데이터 딥 러닝 파이프라인 가속화

많은 막대한 사업과 AWS 고객은 클라이언트 지원(사진 및 비디오 전송에서 개체 식별 계산, 의견 조사)에서 강탈 발견 및 공동 노력에 이르는 비즈니스 사용 사례를 통해 심오한 학습을 ​​수용하는 데 열심입니다.
어쨌든 지금까지는 대기업 응용 프로그램에서 심오한 학습을 ​​실행하는 데 여러 가지 문제가 있었습니다.
정보를 흡수하려는 수신 기대치가 가파르고 새로운 프로그래밍 방언(예: Python) 및 시스템에 대한 내적 전문 적성 향상이 필요했습니다.
Profound Picking 준비 및 파생은 레지스터 집중적이고 일반적으로 GPU에서 수행되는 반면 방대한 범위 정보 설계는 일반적으로 다중 컴퓨터 프로세서 분산 Apache Sparkle의 Scala에서 사용자 정의됩니다.
정보 처리 및 심층 학습은 ETL 준비를 위한 파이프라인과 모델 준비를 위한 파이프라인의 두 가지 파이프라인으로 정기적으로 나뉩니다.
ETL 직업과 조정하기 위해 심오한 학습 구조를 강화하는 것은 ETL/DL 파이프라인을 보다 매끄럽게 만드는 것을 고려합니다.
Apache Sparkle은 방대한 범위의 순환 정보 시험 준비를 위한 표준 구조로 부상했습니다. Apache Sparkle의 악명은 사용성 API와 엘리트의 방대한 정보 준비에서 비롯됩니다. Sparkle은 SQL, 스트림 처리, AI(ML) 및 차트 준비를 위한 상당한 수준의 관리자 및 라이브러리와 통합됩니다.
정보가 계속 발전함에 따라 비즈니스 정보를 마이닝을 하고 분해하는 또 다른 종류의 조직이 있습니다.
그들은 고객이 정보에서 중요한 데이터를 조사하는 것을 돕기 위해 외부인으로 입력합니다. 이 정보는 정기적으로 프레임워크 로그, 신비하고 섬세하지 않은 클라이언트 데이터, 거래 및 교환 기록입니다.
예를 들어 TalkingData는 조직에 고객 행동, 성향 및 패턴에 대한 경험을 제공하기 위해 정보 항목 및 관리를 제공하는 정보 지식 전문가 협동조합입니다.
TalkingData의 센터 관리 중 하나는 AI 및 심층 학습 모델을 활용하여 고객 관행(예: 특정 모임이 집이나 차량을 구매할 확률)을 예측하고 이러한 지식을 지정된 홍보에 활용하는 것입니다.
지금과 같은, TalkingData는 매일 수백만 개의 정보를 처리하기 위해 Scala 기반의 방대한 정보 파이프라인을 활용하고 있습니다.
그들은 Profound Learning 모델을 조립하고 플래시 무리에서 이를 활용하여 분산된 추론 심부름을 수행했습니다.
단일 기계 추측과 대조적으로 Flash 묶음은 절대 유도 시간을 8시간에서 3시간 미만으로 줄였습니다.
그들은 다음과 같은 이유로 Sparkle과 함께 DJL을 선택했습니다.
DJL은 Apache Flash 이외의 추가 프레임워크를 따라갈 필요가 없습니다.
DJL은 TalkingData가 유도를 위해 Apache Sparkle의 등록 기능을 완전히 사용하도록 합니다.
방대한 정보 준비에 Flash를 활용하는 경우 이 계산력을 DL 공제 관리에 재사용할 수 있습니다.
이는 현금을 확보하고 효율성을 더욱 발전시키는 데 도움이 됩니다.
Sparkle에는 조치에 대한 실망을 감독하는 데 도움이 되는 상당한 단점이 있는 관대한 구성 요소가 있습니다.
방대한 정보에 대한 DL 유도는 꽤 오랜 시간, 심지어 몇 시간 동안 계속될 수 있습니다. 모든 것을 고려하여 그들은 이 기계에 대한 자동 회복 응답을 찾고 있습니다.
DJL은 구조 합리주의자로서 TalkingData가 모든 심오한 학습 모델(예: Tensor flow, PyTorch, MXNet 등) 조직 코드 변경 없이 TalkingData의 새 항목/관리를 표시할 기회가 줄어듭니다.
온라인 소매 산업의 경우 제안 및 프로모션은 우수한 고객 경험과 수입을 제공하는 데 필수적입니다.
정보 크기는 일반적으로 거대하며 중요한 데이터를 정리하고 추출하기 위해 주요 정보 파이프라인이 필요합니다.
Apache Flash는 이러한 심부름을 관리하는 데 도움이 되는 특성으로 바뀝니다.
오늘날 점점 증가하는 많은 조직이 콘텐츠 및 쇼케이스에 맞춤형 전략을 채택하고 있습니다.
Amazon Retail은 이 목표를 달성하기 위해 Amazon EMR에서 Apache Flash를 활용했습니다.
그들은 다수의 아이템 클래스에 걸친 클라이언트 활동 친화를 이해하기 위해 다중 이름 배열 모델을 만들고 이러한 성향을 활용하여 클라이언트를 위한 맞춤형 통찰력을 만들었습니다.
Amazon Retail은 수백만 개의 레코드를 처리하기 위해 Scala 기반의 대규모 정보 파이프라인을 구축하고 DJL을 활용하여 해당 모델에서 빅 데이터 딥 러닝 가속화를 수행했습니다.