Lý thuyết thông tin và mã hóa

Nội dung chính:

• Lời nói đầu: Nhấn mạnh tầm quan trọng của lý thuyết thông tin và mã hóa trong các hệ thống thông tin hiện đại và sự hội tụ của các mạng truyền thông. Giới thiệu bố cục cuốn sách gồm 8 chương, trong đó chương 1 đến 7 trình bày về lý thuyết thông tin rời rạc và chương 8 giới thiệu về lý thuyết thông tin các hệ liên tục.
• Chương 1: Mở đầu:
  • Khái quát: Trình bày sự ra đời và ảnh hưởng mạnh mẽ của lý thuyết thông tin cùng với lý thuyết hệ thống và lý thuyết điều khiển sau Chiến tranh thế giới thứ hai. Nêu bật ứng dụng rộng rãi của lý thuyết thông tin trong nhiều lĩnh vực như kỹ thuật truyền tin, sinh y, kinh tế, ngôn ngữ, âm nhạc, nghệ thuật, hội họa, và vai trò quan trọng trong việc nghiên cứu các hệ thống tự tổ chức. Cung cấp các ví dụ cụ thể về ứng dụng lý thuyết thông tin trong sinh học (nhiễm sắc thể, tế bào) và thần kinh học (nơ-ron, bộ não). Giải thích khái niệm độ dư thừa và lượng tin trong các hệ thống tự thích nghi hoặc tự học. Đề cập đến khái niệm en-tro-py thông tin và nguồn gốc từ en-tro-py trong nhiệt động học, chỉ ra rằng mục đích cuối cùng của lý thuyết thông tin là giúp con người giảm en-tro-py thông tin.
  • Những định hướng chính của lý thuyết thông tin và mã hóa: Lý thuyết thông tin bao gồm tất cả các hình thái vận động của thông tin như hình thành, thu nhận, biến đổi, truyền dẫn, xử lý và lưu trữ thông tin. Nhấn mạnh rằng thông tin không tồn tại riêng biệt mà luôn gắn liền với vật mang (tiếng nói, chữ viết, bức tranh, xung điện). Mô tả ba bước chính trong quá trình trao đổi thông tin: mã hóa tại nguồn phát, truyền qua kênh, và giải mã tại nơi thu. Giải thích hai đặc trưng của tin đối với người nhận là độ bất ngờ và ý nghĩa, trong đó lý thuyết thông tin lấy độ bất ngờ làm đặc trưng chính để so sánh các tin.
  • Sơ đồ tổng quát của hệ thống truyền tin: Trình bày sơ đồ khối của một hệ thống truyền tin kỹ thuật, bao gồm Nguồn gửi, Bộ mã hóa nguồn, Bộ mã hóa kênh, Bộ điều chế, Kênh truyền (có nhiễu), Bộ giải điều chế, Bộ giải mã kênh, Bộ giải mã nguồn và Nguồn thu. Giải thích chức năng của từng khối và lý do tách biệt mã hóa nguồn và mã hóa kênh.
  • Những kiến thức cơ sở về xác suất và quá trình ngẫu nhiên: Giới thiệu các khái niệm cơ bản về xác suất và quá trình ngẫu nhiên, làm nền tảng cho việc tiếp cận lý thuyết thông tin:
    • Phép thử và biến cố: Định nghĩa phép thử, biến cố (chắc chắn, không thể, ngẫu nhiên).
    • Định nghĩa xác suất: Trình bày hai định nghĩa xác suất (tỷ số kết cục thuận lợi và tần suất xuất hiện) cùng các tính chất.
    • Nguyên lý xác suất nhỏ và xác suất lớn: Giải thích ý nghĩa và ứng dụng của hai nguyên lý này.
    • Nguyên lý cộng và nhân xác suất: Định nghĩa biến cố tổng, biến cố tích, biến cố xung khắc, biến cố độc lập và các công thức tính xác suất tương ứng.
    • Xác suất có điều kiện: Định nghĩa và công thức tính xác suất có điều kiện.
    • Công thức Bernoulli: Công thức tính xác suất một biến cố xảy ra đúng k lần trong n lần thử độc lập.
    • Công thức xác suất đầy đủ: Công thức tính xác suất của biến cố A khi nó có thể xảy ra đồng thời với một trong các giả thuyết H.
    • Công thức Bayes: Công thức cho phép đánh giá lại xác suất xảy ra các giả thuyết sau khi đã biết kết quả của phép thử.
    • Biến ngẫu nhiên và qui luật phân bố xác suất của biến ngẫu nhiên: Phân biệt biến ngẫu nhiên rời rạc và liên tục, trình bày hàm phân bố xác suất, kỳ vọng toán, phương sai, độ lệch chuẩn, trung vị, mốt và bảng phân bố xác suất cho cả hai loại biến.
    • Hàm của biến ngẫu nhiên một chiều: Cách xác định các đặc tính thống kê của hàm Y=g(X).
    • Biến ngẫu nhiên nhiều chiều: Hàm phân bố xác suất nhiều chiều, hàm mật độ xác suất đồng thời, hàm mật độ xác suất biên, hàm mật độ xác suất có điều kiện và hiệp phương sai, hệ số tương quan.
    • Quá trình ngẫu nhiên: Định nghĩa quá trình ngẫu nhiên, quá trình ngẫu nhiên dừng, tính ergodic, chuỗi Markov và quá trình Gauss.
• Chương 2: Lượng tin và en-tro-py:
  • Khái quát: Đặt vấn đề về việc định lượng thông tin và đưa ra các ví dụ trực quan về thông tin có giá trị và thông tin không có giá trị.
  • Độ đo thông tin của biến cố: Nêu các tính chất cần có của độ đo thông tin và giới thiệu công thức của Shannon: I(Aᵢ) = log(1/p(Aᵢ)) = -log(p(Aᵢ)). Giải thích các đơn vị đo thông tin (bit, Nat, Hartley) và cung cấp các ví dụ minh họa.
  • En-tro-py: Định nghĩa en-tro-py là lượng tin trung bình của toàn bộ phép thử. Nêu các tính chất của hàm en-tro-py và giới thiệu công thức tính en-tro-py H(α) = -Σ pᵢ log pᵢ.
  • En-tro-py của biến cố hợp và en-tro-py có điều kiện: Trình bày công thức tính en-tro-py của phép thử hợp khi hai phép thử độc lập.

Tóm lại, cuốn sách “Lý thuyết thông tin và mã hóa” cung cấp một cái nhìn tổng quan và chi tiết về các khái niệm cơ bản, nguyên lý và ứng dụng của lý thuyết thông tin và mã hóa, đặc biệt hữu ích cho những người làm việc trong lĩnh vực viễn thông và công nghệ thông tin.