Hầu hết các LLM đáng chú ý trong những năm gần đây đều được xây dựng trên kiến ​​trúc Transformer. Trước đây, hầu hết các mô hình ngôn ngữ đều dựa vào mạng nơ-ron tích chập hoặc hồi quy, nhưng sự ra đời của các mô hình Transformer đã cách mạng hóa hiệu suất của mô hình ngôn ngữ. Điểm mạnh cốt lõi của các mẫu Transformer là khả năng xử lý văn bản song song, tăng hiệu quả cho các tác vụ ngôn ngữ. Bài học này tìm hiểu sự phức tạp của kiến ​​trúc Transformer, đi sâu vào hai thành phần chính của nó: cơ chế chú ý và cấu trúc bộ mã hóa-giải mã (attention mechanisms and the encoder-decoder structure). Tìm hiểu về các yếu tố này sẽ cho phép chúng ta hiểu rõ hơn về cách các LLM hiện đại như Transformer được huấn luyện (generative pre-trained transformers - GPT) hoạt động và vượt trội trong các nhiệm vụ ngôn ngữ.

Cấu trúc của Transformer

Transformers có thể xử lý đồng thời các phần khác nhau của văn bản đầu vào, giúp cải thiện khả năng hiểu của mô hình về ngữ cảnh của văn bản đầu vào. Trọng tâm của Transformer là hai nguyên tắc cơ bản: sử dụng cơ chế tự chú ý và cấu trúc bộ mã hóa-giải mã. Chúng ta hãy xem xét chi tiết cả hai thành phần chính này dưới đây.

Cơ chế chú ý (Attention Mechanism)

Để hiểu sự cần thiết của cơ chế chú ý, trước tiên chúng ta hãy thảo luận về phần nhúng. Việc nhúng câu hoặc từ (Sentence/word embeddings) liên kết các từ với vectơ sao cho các từ tương tự có vectơ tương tự. Tuy nhiên, một vấn đề rõ ràng với quá trình này là cùng một từ có thể có nghĩa khác nhau trong các ngữ cảnh khác nhau. Ví dụ: một phút có thể đề cập đến một đơn vị thời gian và cũng có thể đề cập đến một cái gì đó nhỏ (Footnote 1). Cơ chế chú ý có thể giúp giải quyết vấn đề này vì chúng cho phép mô hình tập trung vào chỉ một số phần cụ thể của văn bản đầu vào, điều này rất quan trọng để hiểu ngữ cảnh của bất kỳ tác vụ ngôn ngữ nào.

Về cơ bản, sự chú ý cho phép mô hình gán mức độ quan trọng khác nhau cho các phần khác nhau của dữ liệu đầu vào. Ví dụ: khi xử lý một câu, mô hình có thể chú ý hơn đến các từ khóa quan trọng để hiểu ý nghĩa tổng thể của câu.

Tự chú ý (Self-attention) là một loại cơ chế chú ý cho phép mỗi phần của chuỗi đầu vào có thể tương tác và chịu ảnh hưởng của các phần khác. Khi xử lý văn bản, cơ chế tự chú ý trong mô hình Transformer cho phép nó phân tích toàn bộ chuỗi từ một cách đồng nhất.

Ví dụ: trong câu “đồng hồ còn 1 phút”, việc Tự Chú Ý sẽ giúp mô hình quyết định rằng “phút” đề cập đến một đơn vị thời gian trong ngữ cảnh này. Sự hiểu biết này được thực hiện thông qua các tính toán liên quan đến truy vấn, khóa và giá trị. Mỗi từ trong câu được chuyển thành các phần tử này bằng cách sử dụng các trọng số đã học, cho phép mô hình đánh giá mức độ liên quan hoặc mức độ chú ý của từng từ so với các từ khác trong câu. Bằng cách này, mô hình hiểu rằng trong câu cụ thể này, “phút” được liên kết với các khái niệm về thời gian và mức độ khẩn cấp, được biểu thị bằng “còn 1 phút” và “trên đồng hồ”, cung cấp khả năng hiểu văn bản đầu vào theo ngữ cảnh.

Trong Foot note 1 thì câu nói Give me a minute thì ngược lại, bằng việc Tự Chú Ý, mô hình liên kết khái niệm “cho tôi” (Give) và vị ngữ “tôi”, cung cấp khả năng hiểu văn bản theo ngữ cảnh khác.

Bộ mã hóa-giải mã (Encoder-Decoder)

Cấu trúc bộ mã hóa-giải mã là thành phần nền tảng của kiến ​​trúc Transformer, đóng vai trò quan trọng trong cách các mô hình này xử lý và tạo ra ngôn ngữ. Cấu trúc thành phần kép này cho phép mô hình xử lý văn bản đầu vào thành đầu ra có ý nghĩa một cách hiệu quả, điều này rất cần thiết cho nhiều tác vụ ngôn ngữ, từ dịch thuật đến tạo văn bản.

Sơ đồ trên mô tả mạng nơ-ron mã hóa-giải mã để tạo văn bản. Các vòng tròn màu xanh lam ở bên trái đại diện cho các nơ-ron trong mạng lưới thần kinh của bộ mã hóa, mạng này phân tích tuần tự văn bản đầu vào, tinh chỉnh nó thành một vectơ ngữ cảnh (context vector), được biểu thị bằng các vòng tròn màu tím ở giữa. Vectơ này, đầu ra của bộ mã hóa, là sự thể hiện cô đọng ý nghĩa của đầu vào và được đưa vào bộ giải mã để xử lý tiếp. Các vòng tròn màu xanh lá cây ở bên phải minh họa bộ giải mã, bộ giải mã này tái tạo lại văn bản mạch lạc từ vectơ ngữ cảnh, tạo ra phiên bản đã chuyển đổi của đầu vào ban đầu, chẳng hạn như bản dịch hoặc phần tiếp theo. Chúng ta hãy xem xét chi tiết hơn về bộ mã hóa và bộ giải mã bên dưới.

Bộ Mã hoá (Encoder)

Bộ mã hóa xử lý văn bản đầu vào để hiểu ngữ cảnh và sắc thái của nó. Nó biến đổi chuỗi đầu vào thành một chuỗi vectơ, mỗi vectơ đại diện cho các phần khác nhau của đầu vào. Bộ mã hóa có nhiều lớp, trong đó mỗi lớp bao gồm hai thành phần phụ chính: lớp tự chú ý (self-attention layer) và mạng nơ-ron chuyển tiếp nguồn cấp dữ liệu (feed-forward neural network). Lớp tự chú ý sử dụng mọi từ trong chuỗi đầu vào để liên hệ và thông báo cách giải thích cho mọi từ khác. Theo đó, mạng nơ ron chuyển tiếp nguồn cấp dữ liệu xử lý đầu ra từ lớp chú ý bằng cách áp dụng các phép biến đổi tuyến tính và kích hoạt phi tuyến tính để nắm bắt các mẫu cơ bản trong dữ liệu. Khi văn bản đầu vào đi qua các lớp này, nó sẽ biến đổi, dần dần trở nên trừu tượng hơn và phong phú hơn về ngữ cảnh. Văn bản đã xử lý này (được gọi là vectơ ngữ cảnh - context vector) được chuyển đến bộ giải mã cho giai đoạn tạo văn bản tiếp theo thông qua Transformer.

Bộ Giải mã (Decoder)

Bộ giải mã dịch thông tin giàu ngữ cảnh do bộ mã hóa cung cấp thành văn bản đầu ra mạch lạc và có ý nghĩa. Ngược lại với cấu trúc của bộ mã hóa, bộ giải mã bao gồm một số lớp, chẳng hạn như lớp tự chú ý được che giấu (masked self-attention layer), lớp chú ý của bộ mã hóa (encoder attention layer) và mạng thần kinh chuyển tiếp nguồn cấp dữ liệu. Lớp tự chú ý được che giấu đảm bảo bộ giải mã chỉ tập trung vào các từ trước đó (trong một tầm xa đủ gần và vừa mới, ví dụ trong 1 đến 2 câu gần nhất chứ không lấy các từ có trước đó nhưng ở chương trước, quyển trước), duy trì trình tự cần thiết để dự đoán chính xác trong quá trình tạo văn bản. Việc che giấu này ngăn bộ giải mã nhìn thấy các phần trong tương lai của chuỗi, bắt chước quá trình hiểu ngôn ngữ tự nhiên của con người, trong đó mỗi cụm từ được diễn giải trong ngữ cảnh của những gì đã được nói mà không cần biết trước các từ trong tương lai. (Foot note 2)

Trong khi đó, lớp chú ý của bộ mã hóa giúp tích hợp ngữ cảnh do bộ mã hóa cung cấp bằng cách cho phép bộ giải mã tập trung vào các phần có liên quan của chuỗi đầu vào khi nó tạo ra từng từ của đầu ra. Điều này giúp tạo ra kết quả đầu ra phù hợp về mặt ngữ cảnh với đầu vào.

Thành phần cuối cùng, mạng nơ ron chuyển tiếp nguồn cấp dữ liệu, hoạt động tương tự như thành phần trong bộ mã hóa, tinh chỉnh thêm từng từ do bộ giải mã tạo ra bằng cách áp dụng cả phép biến đổi tuyến tính và phi tuyến tính.

Kết hợp lại, các lớp và thành phần này hoạt động cùng nhau trong kiến ​​trúc Transformer để tạo ra các đầu ra nhận biết theo ngữ cảnh cho văn bản đầu vào.

[Foot note]

1. Trong tiếng Anh có câu nói: Give me a minute thì “a minute” để chỉ tính từ một khoảng thời gian ngắn chứ không có nghĩa đen chính xác một phút như là một đơn vị đo thời gian. Trong tiếng Việt gọi hiện tượng này là đồng âm khác nghĩa, 2 từ đồng âm khác nghĩa sẽ dẫn đến có cùng vectơ (xem lại phần Cơ chế chú ý (Attention Mechanism)). Từ đồng âm khác nghĩa là một loại nhiễu, nhiều này được khử bởi cơ chế Tự Chú Ý- Self Attention Machanism.

2. Mời bạn đọc thêm về Nắm bắt phụ thuộc tầm xa

Hết Bài 2-Chương 2

Để đọc hết Series, vui lòng xem lại Khóa học Vỡ Lòng: Mô hình ngôn ngữ lớn (LLM)

Hãy tưởng tượng một cuộc trò chuyện với một người bạn, trong đó người bạn đó bắt đầu câu bằng: “Tôi định pha một cốc ________.” Con người có thể dự đoán rằng từ tiếp theo có thể là cà phê hoặc trà dựa trên kiến ​​thức của họ về các lựa chọn đồ uống thông thường.

Tương tự, một mô hình ngôn ngữ được đào tạo để hiểu và dự đoán từ tiếp theo theo trình tự dựa trên ngữ cảnh của các từ trước đó. Nó học từ một lượng lớn dữ liệu văn bản và có thể đưa ra những dự đoán sáng suốt về từ nào có thể sẽ xuất hiện tiếp theo trong một ngữ cảnh nhất định.

Trước khi đi vào chi tiết hơn, trước tiên chúng ta hãy thảo luận về mô hình ngôn ngữ là gì.

2. Mô hình ngôn ngữ

Mô hình ngôn ngữ (Language Model, viết tắt là LM) có thể được định nghĩa là mô hình xác suất gán xác suất cho chuỗi từ hoặc mã thông báo trong một ngôn ngữ nhất định. Mục đích là nắm bắt cấu trúc và mô hình của ngôn ngữ để dự đoán khả năng xảy ra của một chuỗi từ cụ thể.

Giả sử chúng ta có vốn từ vựng V có chứa một chuỗi các từ (gọi là mã thông báo hay token) được ký hiệu là w1​,w2​,…wn. Ở đây N là độ dài của chuỗi. Mô hình ngôn ngữ ấn định xác suất (p) với mọi trình tự hoặc thứ tự có thể có của các từ thuộc bộ từ vựng (V) .

Ký hiệu xác suất của một chuỗi từ có thể được biểu thị như sau:

2.1. Ví dụ

Giả sử chúng ta có bộ từ vựng:

và chúng ta có các xác xuất giả định của các chuỗi từ có thứ tự xuất hiện trọng thực tế:

Từ kết quả xác xuất bên trên, ta có thể nhìn thấy rằng sự xuất hiện của chuỗi thứ tự the, cat, chase, the, mouse có xác xuất cao nhất.

Lưu ý: Các mô hình ngôn ngữ phải có kiến ​​thức bên ngoài thì mới có thể gán các xác suất có ý nghĩa; do đó, chúng phải được đào tạo (hay còn gọi là huấn luyện, tiếng anh là training). Trong quá trình đào tạo này, mô hình học cách gán xác suất cao hơn cho các từ có nhiều khả năng tuân theo một ngữ cảnh nhất định. Sau khi đào tạo, mô hình ngôn ngữ có thể tạo văn bản bằng cách lấy mẫu các từ dựa trên các xác suất đã học này.

2.2. Sự dự đoán (Prediction)

Chúng ta cũng có thể dự đoán một từ theo một chuỗi. Một mô hình ngôn ngữ ước tính xác suất này bằng cách xem xét các xác suất có điều kiện (conditional probability) của mỗi từ dựa trên các từ trước đó trong chuỗi. Sử dụng quy tắc xác suất chuỗi (chain rule of probability), nên xác suất chung của chuỗi có thể được phân tách thành:

trong đó:

p(w1): là xác xuất xuất hiện của từ w1
p(w2|w1): là xác xuất của từ w2 khi theo sau w1
p(w3|w1,w2): là xác xuất xuất hiện của từ w3 theo sau chuỗi w1, w2

2.3. N-gram language model

Mô hình N-gram là một loại mô hình ngôn ngữ xác suất được sử dụng trong xử lý ngôn ngữ tự nhiên và ngôn ngữ học tính toán. Những mô hình này dựa trên ý tưởng rằng xác suất của một từ phụ thuộc vào n - 1 từ trước đó. Thuật ngữ “n-gram” dùng để chỉ một chuỗi liên tiếp các 𝑛 từ.

Ví dụ, hãy xem xét câu sau: Tôi thích ngắm hoa vàng.

• Unigram (1-gram): “Tôi”, “thích”, “ngắm”, “hoa”, “vàng”.

• Bigram (2-gram): “Tôi thích”, “thích ngắm”, “ngắm hoa”, “hoa vàng”.

• Trigram (3-gram): “Tôi thích ngắm”, “thích ngắm hoa”, “ngắm hoa vàng”.

• 4-gram: “Tôi thích ngắm hoa”, “thích ngắm hoa vàng”.

• 5-gram: “Tôi thích ngắm hoa vàng”.

Các mô hình N-gram đơn giản và hiệu quả về mặt tính toán, khiến chúng phù hợp với nhiều tác vụ xử lý ngôn ngữ tự nhiên khác nhau. Tuy nhiên, những hạn chế của chúng bao gồm không có khả năng nắm bắt được sự phụ thuộc tầm xa trong ngôn ngữ (Footnote 1) và vấn đề thưa thớt khi xử lý các N-gram bậc cao hơn (Footnote 2)

Thuật toán của N-Gram như sau:

1. Mã thông báo (Tokenization): Chia văn bản đầu vào thành các từ hoặc mã thông báo riêng lẻ (gọi là token).

2. Tạo N-gram (N-gram generation): Tạo n-gram bằng cách hình thành các chuỗi N từ liên tiếp từ văn bản được mã hóa.

3. Đếm tần số (Frequency Counting): Đếm số lần xuất hiện của từng N-gram trong kho dữ liệu huấn luyện.

4. Ước tính xác suất (Probability estimation): Tính xác suất có điều kiện của mỗi từ dựa trên n-1 các từ cho trước bằng cách sử dụng đếm lượt xuất hiện.

5. Làm mịn (Smoothing) (tùy chọn): Áp dụng các kỹ thuật làm mịn để xử lý các n-gram không nhìn thấy (Footnote 1) và tránh xác suất bằng 0 (Footnote 2).

6. Tạo văn bản (Text generation): Bắt đầu với một bộ hạt giống ban đầu N-1 từ ban đầu, dự đoán từ tiếp theo dựa trên xác suất và lặp lại tạo ra các từ tiếp theo để tạo thành một chuỗi.

7. Lặp lại: Tiếp tục tạo từ cho đến khi đạt được độ dài mong muốn hoặc đạt đến điều kiện dừng.

Hãy xem một ví dụ thực tế:

Giải thích code:

• Dòng 1: Import random mô-đun để tạo điều kiện cho các lựa chọn ngẫu nhiên trong quá trình tạo văn bản.

• Dòng 3: Chúng ta tạo một class được đặt tên NGramLanguageModel để gói gọn chức năng của mô hình ngôn ngữ N-gram.

• Dòng 4–7: Chúng ta khởi tạo một số biến cần thiết cho class, khởi tạo số N cho mô hình N-gram, dictionary ngrams và danh sách các mã thông báo giả để đệm cho chuỗi N token. Biến start_token dùng để cung cấp ngữ cảnh cho phần đầu của câu khi không có đủ từ đứng trước để tạo thành một N-gram hoàn chỉnh. Điều này đảm bảo việc tạo ra văn bản mạch lạc và nhất quán.

• Dòng 9–17: Chúng ta xác định một phương thức được đặt tên train để huấn luyện mô hình ngôn ngữ trên một kho văn bản nhất định. Sau đó, chúng tôi lặp lại từng câu trong kho văn bản được cung cấp. Chúng tôi mã hóa câu bằng cách thêm mã thông báo bắt đầu, chia câu đó thành các từ riêng lẻ và thêm mã thông báo kết thúc. Hơn nữa, chúng ta lặp qua câu để tạo ra N-gram bằng cách xem xét các chuỗi có độ dài N. Chúng tôi trích xuất N-gram hiện tại dưới dạng một bộ dữ liệu từ chuỗi mã thông báo và cập nhật số tần số của N-gram hiện tại trong biến dictionary ngrams.

• Dòng 19–34: Chúng ta xác định một phương thức được đặt tên generate_text để tạo văn bản dựa trên mô hình ngôn ngữ được đào tạo, bắt đầu bằng văn bản gốc.

• Dòng 37–53: Chúng ta xác định kho ngữ liệu để đào tạo và kiểm tra mô hình ngôn ngữ. Sau đó, chúng ta tạo một thể hiện của class NGramLanguageModel với N = 2 và huấn luyện nó trên kho văn bản. Tiếp theo, chúng tôi chỉ định từ hạt giống, tạo văn bản dựa trên mô hình được đào tạo và in cả các từ hạt giống và văn bản được tạo.

3. Mô hình ngôn ngữ lớn

Các mô hình ngôn ngữ lớn (LLM) là các mô hình xử lý ngôn ngữ tự nhiên tiên tiến được đào tạo trên lượng lớn dữ liệu văn bản. Những mô hình này được thiết kế để hiểu và tạo ra văn bản giống con người dựa trên dữ liệu đầu vào mà chúng nhận được.

So sánh với các LM đơn giản hơn

LLM và LM đơn giản hơn khác nhau chủ yếu về quy mô, độ phức tạp và nhiệm vụ mà chúng được thiết kế để thực hiện. Dưới đây là so sánh giữa các mô hình ngôn ngữ lớn và các mô hình đơn giản hơn:

[Footnote]

Các mô hình N-gram tuy hữu ích trong việc hiểu và dự đoán các mẫu ngôn ngữ dựa trên các chuỗi từ ngắn nhưng lại gặp phải hai hạn chế chính:

1. Không có khả năng nắm bắt các phụ thuộc tầm xa: 

Điều này đề cập đến thách thức mà các mô hình n-gram gặp phải trong việc nhận biết mối quan hệ giữa các từ cách xa nhau trong câu hoặc văn bản. Ví dụ: mối liên hệ giữa chủ ngữ của một câu và một động từ xuất hiện muộn hơn nhiều có thể không được n-gram nắm bắt một cách hiệu quả, đặc biệt nếu có nhiều từ xen vào.

2. Vấn đề thưa thớt với n-gram bậc cao:

Khi chữ ‘n’ trong n-gram tăng lên (chuyển từ bigram sang trigram và hơn thế nữa), số lượng n-gram có thể có sẽ tăng theo cấp số nhân. Nhiều n-gram bậc cao hơn này sẽ không xuất hiện ngay cả trong các tập dữ liệu huấn luyện lớn, dẫn đến vấn đề thưa thớt khi có thể có nhiều n-gram nhưng không đủ dữ liệu để ước tính chính xác xác suất của chúng. Điều này dẫn đến nhiều n-gram có xác suất bằng 0, điều này có thể cản trở hiệu suất của mô hình.

Hết Bài 1-Chương 2

Để đọc hết Series, vui lòng xem lại Khóa học Vỡ Lòng: Mô hình ngôn ngữ lớn (LLM)

Lợi ích của khóa học

1. Hiểu các mô hình ngôn ngữ, mô hình ngôn ngữ lớn và sự khác biệt chính của chúng

2. Làm quen với các thành phần của LLM và kiến trúc cơ bản của chúng

3. Năng lực kiến thức làm việc, các loại LLM, cùng với tầm quan trọng và hạn chế của chúng

4. Hiểu biết về hoạt động của GPT-2 với tư cách là LLM

5. Kinh nghiệm thực tế trong việc tinh chỉnh LLM cho các bộ dữ liệu cụ thể và đánh giá nó

Tổng quan về khóa học

1. Trong khóa học này, bạn sẽ có được kiến thức làm việc về các khả năng và các loại LLM, cùng với tầm quan trọng và hạn chế của chúng trong các ứng dụng khác nhau. Bạn sẽ có được kinh nghiệm thực hành bằng cách tham gia vào việc tinh chỉnh LLM cho các bộ dữ liệu cụ thể, sau đó là đánh giá hiệu suất của chúng.

2. Bạn sẽ bắt đầu với phần giới thiệu về các mô hình ngôn ngữ lớn, các thành phần, khả năng và loại của chúng. Tiếp theo, bạn sẽ được giới thiệu về GPT-2 như một ví dụ về mô hình ngôn ngữ lớn. Sau đó, bạn sẽ tìm hiểu cách tinh chỉnh LLM đã chọn cho một tập dữ liệu cụ thể, bắt đầu từ các bước chọn mô hình, chuẩn bị dữ liệu, đào tạo và đánh giá. Bạn cũng sẽ so sánh hiệu suất của hai LLM khác nhau.

3. Đến cuối khóa học này, bạn sẽ có được kinh nghiệm thực tế trong việc tinh chỉnh LLM cho các bộ dữ liệu cụ thể, đảm bảo bộ kỹ năng toàn diện để tận dụng hiệu quả các mô hình AI tổng quát này trong các ứng dụng đa dạng liên quan đến ngôn ngữ.

Nội dung khóa học

1. Giới thiệu khóa học
   - Tổng quan
   - Tại sao bạn nên học khóa học này
   - Khóa học này dành cho ai

2. Bắt đầu tìm hiểu về mô hình ngôn ngữ lớn (LLM)
   - Mô hình ngôn ngữ lớn là gì ?
   - Các thành phần của LLM
   - Các loại LLM
   - Các khả năng của LLM
   - Ví dụ về GPT-2
   - Mức độ quan trọng và Giới hạn

3. Tinh chỉnh mô hình ngôn ngữ lớn (Fine-Tuning LLM)
   - Thế nào là tinh chỉnh mô hình ngôn ngữ lớn LLM
   - Lựa chọn mô hình
   - Chuẩn bị dữ liệu
   - Huấn luyện mô hình (Training)
   - Đánh giá mô hình (Evaluation)
   - Thực hành: So sánh hiệu năng của 2 mô hình ngôn ngữ lớn LLM khác nhau

Để nhận được bài viết tiếp theo ngay sau khi xuất bản, bạn vui lòng để lại email nhé.

[Footnote]

Để xem các bài học, vui lòng click vào từng link trong mục lục bên trên