구름사이

인공지능 딥러닝 알고리즘 아키텍처의 대세는 Transformer 이다.
번역 및 생성형 AI에서 널리 쓰이고 있다.
하지만 음성 신호와 같은 곳에서는
conformer나 transducer가 쓰인다.

transformer의 대표적 예는 변압기이다.
전압의 레벨은 변경된다
특성 요소는  동질적이다.

transducer의 대표적  예는
마이크로폰,  마이크이다.
특성요소는 이질적이다.
음파를 전기 신호로 변경한다.
producer 는 이질적, 창의적으로 생산하는 자인가?

아래 사이트에서 아주 잘 설명되어져 있네요.

시계열 데이터의 대표적 사례는 음성신호 데이터가 될 것입니다.

NLP에서 문장도 순서는 있지만,  물리적 시간 측면에서는 일 순간에 밀어 넣을 수 있죠. 이 점이 다릅니다.

위와 같은 특성 때문에,  딥러닝 알고리즘/아키텍처는  NLP에서 먼저 나오고, 좀 더 시간이 지나야  Speech쪽에서 기술이 도출되는 경향이 있습니다.

아래 URL에서 소개하는 시계열 데이터 분석법의 목록은

1. Machine Learning Approaches

1.1 ARIMA (AutoRegressive Integrated Moving Average)

1.2 SARIMA (Seasonal ARIMA)

1.3 Prophet

1.4 XGBoost

2. Generative AI Approaches

2.1 GANs (Generative Adversarial Networks)

2.2 WaveNet

3. Deep Learning Approaches

3.1 LSTM (Long Short-Term Memory)

3.2 GRU (Gated Recurrent Unit)

3.3 Transformer Models

3.4 Seq2Seq (Sequence to Sequence)

3.5 TCN (Temporal Convolutional Networks)

3.6 DeepAR

각 항목은 아래와 같이.

아키텍처/순서도/설명도 등의 이해를 돕기 위한 도해 1개 와

  주요 특성을 간략하게 3-5줄로 설명을 하고, 그 뒤에  예제 샘플 코드가 뒤 따르는 형태로 되어 있다.

https://medium.com/@palashm0002/predicting-time-series-data-with-machine-learning-generative-ai-and-deep-learning-36bf99ad6f5e

AI의 알고리즘이 아닌,

목적물 대상, 비지니스 분야,  용도성, 적용 분야에 다른 분류이다.

(  unite.ai 의 웹 페이지의 메뉴이다.)

상당히 마음에 든다. 

아주 큰 대분류의 지도를 보는 것 같다.

머신러닝을 전공하는 이들이 쓰는 용어와 상당히 다르다.

특정 알고리즘 등의  세부 숲 또는 나무는 이런 체계을 이해한 후, 접근하는 것이 나을 것이다.

- 스타트업 :  리퀴드 AI

   ( 23년 12월 현재, 직원 12명...)

- 필자는 '액체' 대신에 '유체'가 더 적합하다고 생각

- 특징은

• 뉴런의 동작을 결정하는 방정식을 고정하지 않고, '액체'처럼 변경 가능
• 뉴런 간의 상호작용 방식도 변경 가능
• 즉, 신경망의 자체 아키텍처 수정 기능
• 음성인식의 경우,  잡음(Noise)에 대응 능력 가짐
• 적응(Adaptation) 능력 보유, 훈련(Training) 후에도 적응.
• 다르게 표현하면, 훈련단계 뿐만 아니라 추론(Inference)단계에서도 학습을 계속 
• 따라서,  기존의 방식보다 적은 데이터..
• 기존 방식은 적응 능력이 없으니, 처음부터 방대한 데이터를 필요로 함.
• 실 운영 환경에서 변화가 많은 분야에 적합 : 음성인식, 자율주행, 전력망, 의료판독, 금융거래, 기상예측, 대기오염, 로봇,항공 
• 우연하게 모습을 바꾼다 해서,  유체(액체) 신경망
• 기존 방식보다 네트워크 크기를 100분의 1로 줄일 수 있다. (와우~~)
• 시계열데이터에 적합