Running Khmer ASR with 🤗Transformers

Seanghay Yath,Fri Aug 25 2023

Hugging Face has a library called transformers (opens in a new tab) which simplifies the way you interact with machine learning models. It is really easy to get started.

There are many available pretrained models available on Hugging Face for tasks like Text Classification, Token Classification, Speech to Text, Text to Speech, Text to Image, etc.

In this blog post, we will be running a model for Khmer Speech to Text (Automatic Speech Recognition) pretrained model by Vitou Phy (opens in a new tab).

I. Installation

You need Anaconda to follow along so make sure you it installed on your system.

1. Create New Anaconda Environment

conda create -n speech2text python==3.8 --yes
conda activate speech2text

2. Install PyTorch

Choose your operating system to install PyTorch.

Linux with CUDA

conda install pytorch torchvision torchaudio pytorch-cuda=11.8 -c pytorch -c nvidia --yes

macOS

# MPS acceleration is available on MacOS 12.3+
conda install pytorch::pytorch torchvision torchaudio -c pytorch

Windows with CUDA

conda install pytorch torchvision torchaudio pytorch-cuda=11.8 -c pytorch -c nvidia

Windows

conda install pytorch torchvision torchaudio cpuonly -c pytorch

Check if PyTorch was installed.

import torch
 
# Check if CUDA is available
print(torch.cuda.is_available())
# => True

3. Install 🤗 Transformers and others

In this example, we need extra libraries such as

librosa for loading audio file.
pyctcdecode for decoding the outputs from the model.
kenlm for loading the language model.

pip install transformers pyctcdecode librosa https://github.com/kpu/kenlm/archive/master.zip

II. Inference

I will be using an audio from this URL (opens in a new tab) to test. Make sure you have downloaded it to your current working directory.

wget -O audio.mp3 https://datasets-server.huggingface.co/assets/seanghay/khmer_grkpp_speech/--/seanghay--khmer_grkpp_speech/train/12/audio/audio.mp3

The audio sample rate is 44.1kHz, so we have to resample it to be 16kHz using ffmpeg.

ffmpeg -i audio.mp3 -ar 16000 -ac 1 -acodec pcm_s16le audio_16khz.wav

After that, we can start using it with the model. We will be using pipeline() function from transformers library. The pipeline() function is the quickest way to start using machine learning models because it hides abstractions away from us.

from transformers import pipeline
 
pipe = pipeline(model="vitouphy/wav2vec2-xls-r-300m-khmer")
 
# audio sample rate shound be in 16khz
output = pipe("audio_16khz.wav", chunk_length_s=10, stride_length_s=(4, 2))
 
print(output['text'])

Run this script will take quite sometime because it will download the model weights, processors, and tokenizers from the hub. Once it's downloaded, it will be cached for later use.

Predicted Output

ក្រោម ការ ចង្អល់ បង្ហាញ ពី លោក នាយ ឧត្តម សនី សៅ សិក្ខា អគ្គមេបញ្ជាការ រោង កង ជុត្ធពលខេមរៈ ភូ មិន្ទ មេ ប្ជាការកងរាជឱវត្ត ហាត់ លើ ផ្ទៃ ប្រទេស និង ដោយ មាន ការ ប្រគល់ ផេរកិច្ពីអចយដម្ម ឃួង់ស្រេងអភិបាល នៃ គណៈ អភិបាល រាជធានី ភ្នំពេញ នៅ រសៀល ថ្ងៃ ទី ម្ភៃ បួន ខែ គំភាៈឆ្នាំ ពីរ ពាន់ ម្ភៃ មួយ លោក ឧដ្តមស្នីឱករដត់ ស្រៀងមេបញ្ជា ការ រង កង រាជអវុតតហាត់ លើ ផ្ទៃ ប្រទេស ជា មេបញ្ជាការ កង រាជអវតរសរាជធានី ភ្នំពេញ អម ដំណើរ ដោយ មេ បញ្ជា ការ រោង បាន ដឹកនាំ ក្រុម ការងារ កងរឱវុត្រហិស រាជធានី ភ្នំពេញ ចេញ ប្រតបត្តិការចែច ម៉ាស់ ដែល សម្ដេច អគ្គ មហា សានាបតីដែល ជោ ហំសសែនបាន ផ្តល់ ជូន តាមរយៈ សាលា រាជធានី ភ្នំពេញ ទៅ ចែក ជូន ប្រជា ពលរដ្ឋ ក្នុង ភូមិសាស្ត្រ រាជធានី ភ្នំពេញ និង បាន បញ្ចេញ ម៉ូតូ កង់ បី ចំនួន ដប់ ពីរ គ្រឿង បំពាក់ ដោយ ឥស្ខសនសព្ធ្វើ ការ ចក្រ ផ្សាយ នៅ វិធានការ បី ការពារ បី គមណ៍របស់ ប្រមុខ ករាជរលថភិបាល ក៏ ដូច ជា ក្រសួង សុខ ខាភិបាល តាម រយៈ្សាសំលេង ដែល អវត្រហនៅរាជធានី ភ្នំពេញ បាន ចង ក្រុង ឡើង ដើម្បី អំពាងនាវ ឱ្យ ប្រជា ពលរដ្ឋ ចូល រួម សាមគ្គី គ្នា បង្ការ ទប់ ស្កាត់ ការ ឆ្លង រាករៀបដារ នៅ ជំងឺ កូវៀត ដប់ ប្រាំបួន ក្នុង ព្រឹត្តិការ សហគម ម្ភៃកំភ្ដែល បាន ឆ្លង ចូល សហគម ទ្រុង ទ្រាយ ធំ និង កំពុង ម៉ត កើន ឡើង គួរ ឱ្យ បារម្ម

Ground truth

ក្រោមការចង្អុលបង្ហាញពី លោកនាយឧត្តមសេនីយ៍ សៅ សុខា អគ្គមេបញ្ជាការរង កងយោធពលខេមរភូមិន្ទ មេបញ្ជាការ កងរាជអាវុធហត្ថលើផ្ទៃប្រទេស និងដោយមានការប្រគល់ភារកិច្ចពីឯកឧត្តម ឃួង ស្រេង អភិបាលនៃគណៈអភិបាលរាជធានីភ្នំពេញ នៅរសៀលថ្ងៃទី២៤ ខែកុម្ភៈ ឆ្នាំ២០២១ លោកឧត្តមសេនីយ៍ឯក រ័ត្ន ស៊្រាង មេបញ្ជាការរង កងរាជអាវុធហត្ថលើផ្ទៃប្រទេស ជាមេបញ្ជាការកងរាជអាវុធហត្ថរាជធានីភ្នំពេញ អមដំណើរដោយ មេបញ្ជាការរង បានដឹកនាំ ក្រុមការងារកងរាជអាវុធហត្ថរាជធានីភ្នំពេញ ចេញប្រតិបត្តិការ ចែកម៉ាស ដែលសម្តេច អគ្គមហាសេនាបតីតេជោ ហ៊ុន សែន បានផ្តល់ជូន តាមរយៈសាលារាជធានីភ្នំពេញ ទៅចែកជូនប្រជាពលរដ្ឋក្នុងភូមិសាស្រ្តរាជធានីភ្នំពេញ និងបានបញ្ចេញម៉ូតូកង់បីចំនួន១២គ្រឿង បំពាក់ដោយ ឧគ្ឃោសនស័ព្ទ ធ្វើការចាក់ផ្សាយនូវវិធានការ ៣ការពារ ៣កុំ របស់ប្រមុខរាជរាដ្ឋាភិបាល ក៏ដូចជា ក្រសួងសុខាភិបាល តាមរយៈសារសម្លេង ដែលអាវុធហត្ថរាជធានីភ្នំពេញ បានចងក្រងឡើង ដើម្បីអំពាវនាវឲ្យប្រជាពលរដ្ឋចូលរួមសាមគ្គីគ្នា បង្ការ ទប់ស្កាត់ ការឆ្លងរីករាលដាល នូវជំងឺ កូវីដ ១៩ ក្នុងព្រឹត្តិការណ៍សហគមន៍ ២០កុម្ភៈ ដែលបានឆ្លងចូលសហគមន៍ទ្រង់ទ្រាយធំ និងកំពុងបន្តកើនឡើនឡើងគួរឲ្យបារម្ភ

III. Wrap up

If you have questions or got issues while installing these, you can reach me on Twitter (opens in a new tab) or email me at seanghay.dev@gmail.com