Software

Software

LESSONSLIDES PSPS

hệ thống trình chiếu và xử lý lời nói cho việc giảng dạy và kinh doanh giao tiếp ngoại ngữ

Ba quy trình, hai khối

Các quy trình và các bước của ứng dụng được hình dung như một bản đồ tàu điện. Bản đồ có 3 tuyến.

Quy trình làm việc vẽ như bản đồ tàu điện: soạn, trình chiếu, ghi âm, chép lời, gán người nói, phân tích, in báo cáo trên tuyến chính; nhánh Verbi nối vào ở bước ghi âm; nhánh phụ đề, chỉnh sửa, tạo video tách ra từ bước chép lời.

Ứng dụng này local, portable, offline, freemium. Nghĩa là:
-Chương trình chạy trên máy tính của bạn, trong một thư mục duy nhất.
-Ứng dụng chủ yếu hoạt động mà không cần kết nối internet.
-Một phần của ứng dụng được dùng miễn phí, một phần cần giấy phép trả phí.

Phần giới thiệu được chia thành khối A và khối B. Nhìn vào bản đồ, khối A là mọi thứ trước bước ‘Chép lời’, còn khối B là bước Chép lời và mọi thứ sau đó.

KHỐI A

Soạn, trình chiếu, ghi âm

cùng với Verbi

Khối A chủ yếu là soạn và trình chiếu bài học. Khối A được dùng và chia sẻ miễn phí mãi mãi. Ngoài Verbi, khối A không chạy suy luận AI, và ngoài việc dạy trực tuyến, khối A không dùng kết nối internet. Về cơ bản, đây là một ứng dụng cơ sở dữ liệu CRUD để viết và đọc bài học.

Tạo một phần

Thẻ Bài học là màn hình đầu tiên bạn thấy khi mở ứng dụng. Bảng bài học là nơi chứa tất cả bài học. Bên trái là bảng Lọc và bên phải là bảng Tự động phát.

Thẻ Bài học: bảng lọc bên trái, danh sách bài học ở giữa, bảng tự động phát bên phải
Thẻ Bài học

Bấm vào một bài học để mở màn hình phần. Một bài học có thể có nhiều phần. Màn hình phần hiện từng phần cùng toàn bộ nội dung của nó. Ở màn hình này, bạn có thể tạo, sửa, xóa và chuyển giữa các phần. Hãy thử thêm một bức ảnh và ghi âm lời thuyết minh cho bức ảnh đó.

Màn hình phần, toàn bộ trang: ảnh, chú thích, âm thanh ảnh, câu hỏi đọc hiểu, câu hỏi suy ngẫm, âm thanh câu hỏi, từ vựng và thẻ

Bấm ‘Trình chiếu’ để xem các slide.

Chế độ trình chiếu: ảnh đồ hộp cùng chú thích và từ vựng, câu hỏi suy ngẫm màu đỏ bên phải

Nội dung phần

Các bài trình chiếu này không phải PowerPoint hay PDF. Chúng không được lưu thành những tệp riêng. Thay vào đó, dữ liệu và tệp đa phương tiện được lưu và lấy ra từ cơ sở dữ liệu và thư mục media. Các slide được tạo ngay lập tức.

Sơ đồ quan hệ thực thể: segments có nhiều dòng seg_photos, questions, q_voice_audio và seg_vocabulary. Mỗi dòng seg_photos trỏ đến một ảnh và có nhiều dòng p_voice_audio và comprehension_q; seg_vocabulary nối segments với vocabulary.

Tại sao lại lưu bài học theo cách này? Bài học có thể khác nhau về độ dài và hình dạng nhưng vẫn vừa cùng một khuôn chứa. Nhờ vậy, cách viết của người soạn có thể thay đổi theo thời gian mà không phá vỡ hệ thống sắp xếp. Cách này cũng cho phép lưu nhiều nội dung hơn hẳn mà không mất khả năng theo dõi hay kiểm soát. Cuối cùng, một chương trình máy tính có thể làm việc trực tiếp với nội dung.

Cấu trúc phần

Năm 2015, tôi đến xem một buổi trình chiếu ảnh trực tiếp của một cặp vợ chồng lớn tuổi vừa đi du lịch bằng xe đạp ở Nga. Buổi trình chiếu diễn ra trong phòng sinh hoạt cộng đồng của thư viện và mở cửa cho mọi người. Hai vợ chồng dùng máy chiếu và màn chiếu để cho xem ảnh chuyến đi. Ở mỗi bức ảnh, họ kể cho khán giả nghe một lời giải thích, một khám phá hay một cuộc gặp gỡ.

• Bài học có các phần, phần có ảnh, ảnh có lời thuyết minh và câu hỏi đọc hiểu.

Họ cho xem ảnh một đôi bàn tay. Đôi tay trông rất khỏe. Hai vợ chồng kể rằng khi đạp xe trên vùng đồi, họ gặp một người phụ nữ chăn cừu người Nga. Bà đã nhờ họ chụp một bức ảnh đôi bàn tay của mình. Đến đây buổi trình chiếu dừng lại, và người trình bày suy ngẫm thành tiếng về lý do của lời đề nghị ấy. Ông cho rằng người phụ nữ là người làm việc vất vả và kiếm sống bằng chính đôi bàn tay của mình. Ông hướng câu hỏi về phía khán giả: ‘việc bạn làm có quan trọng với con người bạn không?’.

• Phần có câu hỏi suy ngẫm.

Đó là một tiến trình: từ bức ảnh đôi bàn tay, đến việc lắng nghe và hiểu đôi tay ấy là của ai và bà đã đề nghị điều gì, rồi từ đó mở rộng thành một câu hỏi cho người nghe. Tiến trình này là một biến thể của một hình dạng quen thuộc trong giáo dục. Bạn có thấy khuôn mẫu này trong phần #133 không?

bầu trời có nắng và nhiều mây
một chiếc xe tải giao thư dừng ở góc phố
chiếc xe đã hơn 35 năm tuổi và sắp được cho nghỉ hưu

Trình chiếu

Công việc của người trình bày gồm: điều khiển slide, thuyết minh các phần, giao tiếp với học viên.

Trong phần mềm này có hai cách trình chiếu bài học:

  • do người dùng điều khiển
  • tự động

Hai cách này khác nhau ở chỗ ai điều khiển slide và âm thanh, cũng như cách điều phối thảo luận.

Do người dùng điều khiển: giáo viên điều khiển slide và âm thanh. Giáo viên có thể chuyển tới và lùi, phát và ghi âm thanh của phần, ghi âm lớp học và làm mới emoji bằng phím tắt và giao diện. Giáo viên điều phối thảo luận.

bấm ? ở chế độ trình chiếu để xem danh sách phím tắt

Tự động: chương trình điều khiển slide và âm thanh. Chương trình đi lần lượt từng phần trong hàng đợi tự động phát. Ở mỗi lượt thảo luận, chương trình dừng lại trong một khoảng thời gian định trước. Nếu bật tùy chọn ‘Dùng Verbi’, một giọng AI đã được nạp sẵn ngữ cảnh từ lời nhắc hệ thống và nội dung của phần sẽ tham gia ở mỗi lượt thảo luận.

hàng đợi và các tùy chọn tự động phát

Verbi là một dự án mã nguồn mở riêng của Muhammad Farooq, và LessonSlides sử dụng nó. Đây là một chuỗi xử lý từ giọng nói sang giọng nói:

chuyển giọng nói thành văn bản (stt) — mô hình ngôn ngữ lớn (llm) — chuyển văn bản thành giọng nói (tts).

Tại sao chọn Verbi? Verbi được chọn vì nó bán song công và đồng bộ. Nghĩa là cuộc trò chuyện diễn ra qua lại, theo lượt, với độ trễ có thể đoán trước. Tôi nghĩ điều này giúp nói chuyện với nó dễ hơn. Verbi cũng không phụ thuộc nhà cung cấp, nghĩa là các mô hình có thể thay thế cho nhau (nên tôi có thể chọn llm và tts).

Bạn có thể xuất một giáo án để in cho bất kỳ bài học nào. Tệp PDF giáo án sẽ có một bảng như thế này, cùng với hình ảnh và thẻ từ vựng.

Một giáo án một trang, có thể xuất ra PDF từ danh sách thao tác của thẻ Bài học.
xuất giáo án PDF

Trong lúc trình chiếu, có thể ghi âm lớp học. Khi người dùng điều khiển, bấm phím tắt R để ghi âm. Khi trình chiếu tự động, nếu bật tùy chọn ‘Ghi âm buổi thảo luận’, âm thanh lớp học sẽ tự động được ghi lại trong suốt thời gian thảo luận định trước.

KHỐI B

Chép lời, phân tích, báo cáo

cùng với quy trình video phụ đề tiếng Việt

Khối B là phần xử lý sau đối với các bản ghi âm lớp học được ghi lại trong lúc trình chiếu. Chúng ta sẽ chạy phân tích và tạo báo cáo học viên cùng video có phụ đề đã dịch.

Khối B cần mã giấy phép. Đây là những mã bạn mua để mở khóa khối B cho một số lượng máy giới hạn trong một khoảng thời gian giới hạn. Sau khi mua giấy phép, hãy kích hoạt ở trang Cài đặt.

Báo cáo học viên

Đây là thẻ Bản ghi. Bản ghi mới xuất hiện trong bảng bản ghi. Để chép lời, chọn các bản ghi rồi chọn Chép lời trong danh sách thao tác.

Trang Bản ghi: chọn Chép lời trong danh sách thao tác

Khi xong, bấm ‘mở’ để mở trang bản chép lời. Xem lại và sửa nhãn người nói nếu cần.

Trang Bản ghi: chọn Chép lời trong danh sách thao tác

Tiếp theo, gán mỗi nhãn người nói cho một người đã có. Nếu người đó chưa có, hãy tạo trước ở thẻ Thành viên.

Trang bản chép lời, mục Người nói: SPEAKER_00 được gán cho Verbi và SPEAKER_01 cho yoshua, mỗi nhãn có các câu mẫu để nghe

Lưu nhãn người nói, và việc phân tích bản chép lời bằng Python chạy ngay lập tức. Bước này đo các chỉ số cơ bản về thời gian, lượt nói và số từ. Các chỉ số này được ghi lại cho lời nói của riêng từng người.

Bảng bản ghi trong hồ sơ với các cột ngày, bài học, số từ, từ khác nhau, từ mới, lượt nói và số phút

Ở thẻ Thành viên, chọn một người rồi dùng danh sách thao tác để xuất báo cáo học viên PDF. Các biểu đồ trong báo cáo gồm: số từ khác nhau cộng dồn, từ mới mỗi bản ghi, từ khác nhau so với tổng số từ, và tỉ lệ lượt nói. Các biểu đồ này được tính từ các chỉ số cơ bản trên tất cả bản ghi của người đó.

Báo cáo học viên một trang: tên học viên, tổng số từ, bốn biểu đồ hồ sơ và bảng bản ghi
Một báo cáo học viên: mỗi học viên một trang A4

Mục âm cần luyện trong báo cáo là những âm người đó hay phát âm sai, dựa trên phân tích phát âm có máy tính hỗ trợ. Để chọn câu cần phân tích phát âm, đánh dấu ô bên cạnh các câu trong mục bản chép lời. Bước này đo độ chính xác của từng âm trong các câu đã chọn, dựa trên âm thanh bản ghi và chữ trong bản chép lời. Độ chính xác của phân tích ở mức âm vị còn hạn chế, nên người dùng cần xem lại và có thể đổi các âm bị đánh dấu.

Kết quả phân tích phát âm đánh dấu các âm là 'Cần luyện' và 'Có vấn đề'. Có thể đổi các dấu này bằng tay.
phân tích phát âm có máy tính hỗ trợ, với việc sửa dấu bằng tay.

Video nói có phụ đề đã dịch

Các trung tâm ngoại ngữ thường làm video nói có phụ đề đã dịch cho phụ huynh và gia đình. Phụ đề thường được sửa ngay trong phần mềm dựng video. Thay vào đó, chúng ta sẽ sửa phụ đề riêng trong một trình soạn thảo văn bản, TRƯỚC khi đưa vào video.

Bấm Tạo để chuyển bản chép lời sang định dạng srt. Sửa chữ trước, rồi sao chép và dán cả tệp, kể cả mốc thời gian, vào Google Dịch, dán kết quả trở lại và lưu.

Trang bản chép lời, mục Phụ đề: nút Tạo và Lưu phía trên ô văn bản SRT có thể chỉnh sửa
trình sửa tệp phụ đề.

Để tạo video, bấm Tạo video. Âm thanh của bản ghi, ảnh của phần bài học lúc ghi âm và phụ đề đã dịch được ghép thành một video nhẹ để bạn tải về và chia sẻ.

Một khung hình từ video: câu trả lời đầu tiên của Verbi được dịch sang tiếng Việt. Logo hiện ở góc trên bên phải.
Màn hình chào ở cuối video. Màn hình chào kéo dài 5 giây và có thể dùng để gắn thông tin liên hệ hoặc địa chỉ của trường.

Logo và màn hình chào được thêm tự động. Cài đặt chúng trong trang Cài đặt.


LESSONSLIDES PSPS

a presentation and speech processing system for the teaching and business of foreign language communication

Three processes, two parts

the app’s processes and steps visualized as a transit map. It has 3 lines.

The workflow drawn as a transit map: author, present, record, transcribe, label speakers, analyze, print report on the main line; a Verbi branch joins at record; a subtitles, edit, create video branch leaves from transcribe.

This app is local, portable, offline, freemium. What that means:
-The program runs on your computer, in a single folder.
-The app mainly works without needing to connect to internet.
-part of the app is free to use, part of it requires a paid license.

The introduction is divided into parts A and B. Looking at the map, part A is everything before ‘Transcribe’ and Part B is Transcribe and everything after it.

PART A

Author, present, record

plus Verbi

Part A is mainly about authoring and presenting lessons. It is free to use and share forever. Except for Verbi it doesn’t contain inference work and except for teaching online it doesn’t use an internet connection. It is basically a CRUD database application for writing and reading lessons.

Create a segment

The Lessons tab is what you first see when you open the app. The lessons table is where all lessons live. On the left is the Filter panel and on the right is the Autoplay panel.

The Lessons tab: filter panel on the left, lesson list in the middle, autoplay panel on the right
The lessons tab

click on a lesson and it opens the segment view. Lessons can have many segments. The segments view shows the individual segment and all its contents. You can create, edit, delete and navigate between the segments in this view. Try adding a photo and recording voice audio for that photo.

Segment view, the whole page: photos, caption, photo audio, comprehension questions, reflection questions, question audio, vocabulary and tags

Click ‘Present’ to see the slides.

Present view: a photo of canned food with its caption and vocabulary, and a reflection question in red on the right

Segment content

These presentations aren’t powerpoint or pdf. They aren’t saved as separate documents. Instead, the data and media are stored and retrieved from the database and media folder. The slides are generated on the fly.

Entity-relationship diagram: segments has many seg_photos, questions, q_voice_audio and seg_vocabulary rows. Each seg_photos row points to one photo and has many p_voice_audio and comprehension_q rows; seg_vocabulary links segments to vocabulary.

why store lessons this way? — lessons can vary in size and shape but fit the same container. This lets the author’s writing evolve over time without breaking the organizational system. It also makes it possible to store far more content without losing visibility or control. Finally, there is the capability to interface with the content by a computer program.

Segment structure

Back in 2015, I attended a live slideshow presentation by an elderly couple who had gone on a bicycle trip in Russia. The presentation took place in the community room of the library and was open to the public. The elderly couple used a projector and a screen to show photos of the trip. At each photo, they narrated to the audience some explanation, discovery or encounter.

• Lessons have segments, segments have photos, photos have narrations and comprehension questions.

They showed a photo of a pair of hands. The hands looked strong. The couple said that while riding in the hills they met a Russian shepherdess. The shepherdess had asked them to take a photograph of her hands. Here the slideshow paused, and the presenter pondered aloud about the reason for the request. He postulated that the woman is someone who works hard and makes a living by the work of her hands. He directed the question to the audience: ‘is what you do important to who you are?’.

• Segments have reflection questions.

It was a progression: from a photo of hands, to listening and understanding whose hands they were and what she requested, and extending from that a question for the listener. This progression is a variation on a common shape in education. Do you see the pattern in segment #133?

a sunny and cloudy sky
a mail delivery truck stopped at the corner of the street
the truck is more than 35 years old and will soon be retired

Presenting

the job of the presenter includes: controlling slides, narrating segments, communicating with students.

In this software there are two ways to present lessons:

  • user-controlled
  • automatic

these two differ in who controls slides and media as well as how is discussion facilitated.

User-controlled: the teacher controls the slides and media. The teacher can navigate forward and backward, play and record segment audio, record class audio and refresh emoji using the hotkeys and the UI. The teacher facilitates discussion.

pres ? in present view to view the hotkey menu

Automatic: the program controls the slides and media. It goes segment-by-segment through the autoplay queue. At each discussion it pauses for a preset amount of time. If ‘Use Verbi’ option is enabled, an ai voice pre-loaded with context from the system prompt and the segment content engages at each segment discussion.

autoplay qeueu and options

Verbi is a separate, open-source project by Muhammad Farooq, and Lessonslides uses it. It is a speech-to-speech pipeline:

speech to text (stt) — large language model (llm) — text to speech (tts).

Why Verbi? Verbi was selected because it is half-duplex and synchronous. That means it has a back and forth, turn-based communication that has a predictable delay. I think this makes it easier to talk to. Verbi also is provider agnostic, meaning the models are interchangeable (so I can choose the llm and tts).

You can export a printable lesson plan for any lesson. The lesson plan pdf will include a table like this along with the image and vocabulary cards.

A one-page lesson plan that can be exported as pdf from the actions menu of the Lessons tab.
export lesson plan pdf

While presenting it is possible to record class audio. With user-controlled presenting, use the R hotkey to record. For automatic presenting, if ‘Record Discussions’ option is enabled, then class audio will automatically be recorded for the duration of the preset discussion time.

PART B

Transcribe, analyze, report

plus the Viet-subtitle video pipeline

Part B involves the post-processing on the class audio recordings that were captured while presenting. We will run analysis and generate speaker reports and translated subtitle videos.

Part B requires a license key. These are codes which you buy that unlock part B for a limited number of devices for a limited amount of time. After buying the license, activate from the settings page.

Speaker report

This is the Recordings tab. New recordings appear in the recordings table. To transcribe recordings, select the recordings and transcribe from the actions dropdown.

recordings page actions dropdown select transcribe

Once finished, click ‘open’ to open the transcript page. Review and correct the speaker attribution if necessary.

recordings page actions dropdown select transcribe

Next, assign each speaker label to an existing speaker. If the speaker doesn’t exist yet, then first create the speaker in the Speakers tab.

Transcript page, Speakers section: SPEAKER_00 assigned to Verbi and SPEAKER_01 assigned to yoshua, each with sample lines to play

save the speaker labels, and the python transcript analysis runs instantly. This takes base measures of time, turns and words. These measures are recorded for each speaker’s own speech.

Profile recordings table with date, lesson, words, distinct, new, turns and minutes columns

From the Speakers tab select a speaker and use the action dropdown to export the speaker report pdf. The charts in the speaker report are: cumulative distinct words, new words per recording, distinct vs total words and share of turns. These are derived from the base measures across all recordings for that speaker.

A one-page speaker report: the speaker's name, total words, the four profile charts and the recordings table
A speaker report: one A4 page per speaker

The sounds to practice in the speaker report are the sounds often mispronounced by that speaker, based on computer assisted pronunciation assessment. To select lines for pronunciation assessment, tick the box next to the lines in the transcript section. This will measure the accuracy of each sound in user-selected lines based on the recording audio and transcript text. The accuracy of phoneme-level assessment is limited, so the user should review and can change the outputted flagged sounds.

the pronunciation assessment results flag sounds as 'needs work' and 'problem'.  These flags can be changed manually.
the computer assisted pronunciation assessment with manual editing of flags.

Translated subtitle speaking videos

Language centers commonly produce speaking videos with translated subtitles for parents and family. The captions are usually edited within the video editor. Instead, we will edit the captions separately in a text editor, BEFORE they are applied to video.

Click Create to convert the transcript to srt format. Edit the text first, then copy and paste the whole file timestamps and all into Google translate, paste back the output and save.

Transcript page, Subtitles section: Create and Save buttons above an editable SRT text box
the subtitle file editor.

to create the video, click Create video. The recording’s audio, the image of the lesson segment it was recorded on, and the translated subtitles are combined into a light-weight video you can download and share.

a frame from the video showing the first response by verbi translated to vietnamese.  the logo is visible in the top right corner.
this is the splash screen at the end of the video.  the splashscreen lasts 5 seconds and can be used to attach contact info or the address for the school.

the logo and the splashscreen are added automatically. Set them in settings.