随机算法 (Fall 2011)

随机算法
Randomized Algorithms

Instructor
尹一通
Email	yitong.yin@gmail.com yinyt@nju.edu.cn
office	计算机系 804
Class
Class meetings	Monday, 10am-12pm 仙逸C-420
Office hours	Wednesday, 2-5pm 计算机系 804
Textbooks
Randomized Algorithms, Motwani and Raghavan, Cambridge Univ Press, 1995.
Probability and Computing: Randomized Algorithms and Probabilistic Analysis, Mitzenmacher and Upfal, Cambridge Univ Press, 2005.

This is the page for the class Randomized Algorithms for the Fall 2011 semester. Students who take this class should check this page periodically for content updates and new announcements.

Announcement

• (09/19/2011) 第一次作业发布，在Assignments部分。下周一9月26日上课时交。
• 由于有事需要外出，9月14日星期三下午的office hour改在9月13日下午。
• 第一次课的slides已发布，见lecture notes部分。以后每节课slides的链接都会在那一课的题目后面。

Course info

• Instructor : 尹一通，

• email: yitong.yin@gmail.com, yinyt@nju.edu.cn
• office: 计算机系 804.

• Class meeting: Monday 10am-12pm, 仙逸C-420.
• Office hour: Wednesday 2-5pm, 计算机系 804.

Syllabus

随机化（randomization）是现代计算机科学最重要的方法之一，近二十年来被广泛的应用于计算机科学的各个领域。在这些应用的背后，是一些共通的随机化原理。在随机算法这门课程中，我们将用数学的语言描述这些原理，将会介绍以下内容：

• 一些重要的随机算法的设计思想和理论分析；
• 概率论工具及其在算法分析中的应用，包括常用的概率不等式，以及数学证明的概率方法 (the probabilistic method);
• 随机算法的概率模型，包括典型的随机算法模型，以及概率复杂度模型。

作为一门理论课程，这门课的内容偏重数学上的分析和证明。这么做的目的不单纯是为了追求严格性，而是因为用更聪明的方法去解决问题往往需要具备有一定深度的数学思维和数学洞察力。

先修课程 Prerequisites

• 必须：离散数学，概率论，线性代数。
• 推荐：算法设计与分析。

Course materials

• 教材和参考书

成绩 Grades

• 课程成绩：本课程将会有六次作业和一次期末考试。最终成绩将由平时作业成绩和期末考试成绩综合得出。
• 迟交：如果有特殊的理由，无法按时完成作业，请提前联系授课老师，给出正当理由。否则迟交的作业将不被接受。

学术诚信 Academic Integrity

学术诚信是所有从事学术活动的学生和学者最基本的职业道德底线，本课程将不遗余力的维护学术诚信规范，违反这一底线的行为将不会被容忍。

作业完成的原则：署你名字的工作必须由你完成。允许讨论，但作业必须独立完成，并在作业中列出所有参与讨论的人。不允许其他任何形式的合作——尤其是与已经完成作业的同学“讨论”。

本课程将对剽窃行为采取零容忍的态度。在完成作业过程中，对他人工作（出版物、互联网资料、其他人的作业等）直接的文本抄袭和对关键思想、关键元素的抄袭，按照 ACM Policy on Plagiarism的解释，都将视为剽窃。剽窃者成绩将被取消。如果发现互相抄袭行为， 抄袭和被抄袭双方的成绩都将被取消。因此请主动防止自己的作业被他人抄袭。

学术诚信影响学生个人的品行，也关乎整个教育系统的正常运转。为了一点分数而做出学术不端的行为，不仅使自己沦为一个欺骗者，也使他人的诚实努力失去意义。让我们一起努力维护一个诚信的环境。

Assignments

• (2011/09/19) Problem set 1 due on Sept 26, in class.

Lecture Notes

1. Introduction | slides
   • Randomized Algorithms: an Introduction
   • Complexity Classes
2. Probability Basics | slides
   • Probability Space
   • Verifying Matrix Multiplication
   • Conditional Probability
   • Randomized Min-Cut
   • Random Variables and Expectations
   • Randomized Quicksort
3. Balls and Bins slides
   • Distributions of Coin Flipping
   • Birthday Problem
   • Coupon Collector
   • Balls-into-balls Occupancy Problem
   • Bloom Filter
   • Stable Marriage
4. Moment and Deviation slides
   • Markov's Inequality
   • Chebyshev's Inequality
   • Median Selection
   • Random Graphs
5. Hashing and Fingerprinting
   • Pair-wise Independence
   • Derandomization: Two-Point Sampling
6. Chernoff Bound
   • Chernoff Bound
   • Set Balancing
   • DNF Counting
   • Routing in a Parallel Network
7. Concentration of Measure
   • Martingales
   • Azuma's Inequality
   • The Method of Bounded Differences
8. Dimension Reduction
   • Johnson-Lindenstrauss Theorem
   • Locality Sensitive Hashing
9. The Probabilistic Method
   • The Probabilistic Method
   • Derandomization: Conditional Expectation
   • Lovász Local Lemma
   • Derandomization: Color-coding
10. Approximation Algorithms, On-line Algorithms
    • Max-SAT
    • Linear Programming
    • Randomized Rounding
    • On-line Algorithms
11. Markov Chain and Random Walk
    • Markov Chains
    • Random Walks on Undirected Graphs
    • Electrical Network
    • Cover Time
    • Graph Connectivity
12. Random Walk Algorithms
    • Randomized 2SAT
    • Randomized 3SAT
    • Perfect Matching in Regular Bipartite Graph
    • The Metropolis Algorithm
    • Dynamics on Spins
13. Coupling and Mixing Time
    • Mixing Time
    • Coupling
    • Card Shuffling
    • Path Coupling
    • Graph Coloring
14. Expander Graphs I
    • Expander Graphs
    • Graph Spectrum
    • The Spectral Gap
    • Random Walk on Expander Graph
15. Expander Graphs II
    • Expander Mixing Lemma
    • Chernoff Bound for Expander Walks
    • The Zig-Zag Product
    • USTCON in LOGSPACE
16. Sampling and Counting
    • The #P Class and Approximation
    • DNF Counting
    • Canonical Paths
    • Count Matchings
    • Sampling and Counting
17. Markov Chain Monte Carlo (MCMC)
    • Spin Systems
    • Simulated Annealing
    • Volume Estimation
18. Complexity

The Probability Theory Toolkit

• Linearity of expectation
• Independent events and conditional independence
• Conditional probability and conditional expectation
• The law of total probability and the law of total expectation
• The union bound
• Bernoulli trials
• Geometric distribution
• Binomial distribution
• Markov's inequality
• Chebyshev's inequality
• Chernoff bound
• k-wise independence
• Martingale
• Azuma's inequality and Hoeffding's inequality
• Doob martingale
• The probabilistic method
• The Lovász local lemma and the algorithmic Lovász local lemma
• Markov chain:

reducibility, Periodicity, stationary distribution, hitting time, cover time;

mixing time, conductance