Năm 1887, khi Pháp thành lập Liên bang Đông Dương (gồm Nam Kỳ, Trung Kỳ, Bắc Kỳ và Cao Miên), Sài Gòn được chọn làm nơi đặt Phủ Toàn quyền Đông Dương. Nam Kỳ (Sài Gòn) là nơi người Pháp đánh chiếm đầu tiên, có nền tảng hạ tầng phát triển nhất lúc bấy giờ, và là vùng đất "thuộc địa trực tiếp" (colonie) hoàn toàn thuộc quyền cai trị của Pháp (không bị ràng buộc bởi triều đình phong kiến như Trung Kỳ hay Bắc Kỳ).
Khi
Paul Doumer sang làm Toàn quyền Đông Dương (1897), ông bắt đầu thực hiện tham vọng quy hoạch lại toàn bộ liên bang. Đến năm 1902, Paul Doumer quyết định chuyển Phủ Toàn quyền và các sở ngành tối cao ra Hà Nội, chính thức biến Hà Nội thành thủ đô mới.
Một bài báo ngày 25/12/1907 trên Bán nguyệt san Thuộc địa
La Quinzaine Coloniale đã chỉ ra 3 nguyên nhân chính của việc lựa chọn Hà Nội.
Tạm dịch:
Thủ đô của Đông Dương
Những tuyên bố gần đây của các nhà thầu ở Bắc Kỳ đã mang lại một kết quả không ngờ tới: chúng làm sống lại sự thù địch cũ giữa Nam Kỳ và Bắc Kỳ, đồng thời một lần nữa đẩy Sài Gòn và Hà Nội vào thế đối đầu nhau.
Giống như nhân vật Calypso, người không thể nguôi ngoai sau sự ra đi của Ulysses, người dân Sài Gòn vẫn chưa thể chấp nhận việc dịch chuyển Phủ Toàn quyền và các sở ngành hành chính tổng hợp về Hà Nội. Các thành phố cũng giống như các cá nhân, đều có lòng tự trọng riêng, và đó là một nỗi tủi nhục đau đớn đối với Sài Gòn khi thấy mình bị tước đi tư cách thủ đô lâu đời của xứ Đông Dương.
Bên cạnh khía cạnh về mặt cảm xúc, còn có một vấn đề về quyền lợi kinh tế. Các công chức thuộc Phủ Toàn quyền và các sở ngành hành chính tổng hợp tạo thành một lượng khách hàng tiêu thụ với số lượng không hề nhỏ. Giới thương gia Sài Gòn không thể tha thứ cho Hà Nội vì đã được thừa hưởng món lợi này.
Tuy nhiên, có ba lý do khiến cán cân nghiêng về phía chọn Hà Nội; và giá trị của chúng nằm ở chỗ: Lý do đầu tiên là vì Bắc Kỳ sát biên giới với Trung Quốc, và sự láng giềng này đặt ra cho vị Toàn quyền nghĩa vụ phải có một sự giám sát đặc biệt, điều mà chỉ có thể thực hiện một cách hiệu quả từ Hà Nội. Lý do thứ hai là vì bộ máy hành chính Bắc Kỳ, trong quá trình phát triển (thực dân hóa), phải đối mặt với mối liên hệ mật thiết cùng sự chồng chất và tầm quan trọng của các vấn đề phát sinh tại đây, những khó khăn này đòi hỏi sự can thiệp thường xuyên và trực tiếp của Toàn quyền. Lý do thứ ba, cuối cùng, là vì khí hậu của Hà Nội lành mạnh (tốt) hơn khí hậu của Sài Gòn, các công chức thuộc địa có thể giải quyết khối lượng công việc lớn hơn rất nhiều tại đây mà không phải chịu tổn hại về mặt sức khỏe."
Khi chính quyền dời đô ra Hà Nội, giới kinh doanh Sài Gòn rất tức giận vì mất đi nguồn thu lớn từ các quan chức, công chức Pháp. Thậm chí có tin đồn Toàn quyền Jean-Baptiste Paul Beau có ý định đưa Phủ Toàn quyền quay trở lại Sài Gòn. Sài Gòn (Nam Kỳ) là đất thuộc địa trực tiếp (
Colonie française), trong khi Hà Nội (Bắc Kỳ) chỉ là đất bảo hộ (
Pays de protectorat), nhưng điều này không làm giảm đi vai trò thủ đô của Hà Nội, vì vị trí địa lý của Hà Nội giúp việc điều hành bộ máy cai trị Đông Dương đạt hiệu quả thực tế cao hơn nhiều so với Sài Gòn.
Thậm chí có đề xuất đặt trung tâm ở Huế vì sắc dân chủ đạo của toàn cõi Đông Dương là người Annam (người Việt), nên xét theo một góc nhìn lý thuyết thuần túy về mặt địa lý, Huế (thủ đô của vương quốc Annam cũ) mới là nơi xứng đáng nhất để đặt Phủ Toàn quyền. Nhưng việc chọn Huế là không khả thi ở thời điểm đó (năm 1907). Bởi vì hệ thống giao thông, đường xá kết nối giữa Huế với các phần còn lại của Đông Dương vẫn còn quá thô sơ, chưa phát triển.
Ngoài ra, Nam Kỳ (Sài Gòn) là đất thuộc địa trực tiếp (
Colonie), nơi người Pháp xóa bỏ hoàn toàn luật cũ để áp dụng luật Pháp. Ngược lại, Trung Kỳ và Bắc Kỳ (Annam-Tonkin) là đất bảo hộ (
Protectorat), nơi triều đình nhà Nguyễn về mặt pháp lý vẫn tồn tại và duy trì bộ máy quan lại bản xứ. Vì vậy, để kiểm soát, uốn nắn và cải tổ toàn bộ "hệ thống quan lại bản xứ" này theo ý đồ của Pháp, Toàn quyền Đông Dương bắt buộc phải đặt cơ quan hành chính đầu não tại thủ phủ của đất bảo hộ (Hà Nội) thay vì ở một vùng đất nhượng địa thuần túy như Sài Gòn. Người Pháp thí điểm thành lập các hội đồng dân biểu, cơ quan đại diện tại Bắc Kỳ sớm hơn và mạnh mẽ hơn các nơi khác để xoa dịu tầng lớp trí thức bản xứ. Việc đặt Hà Nội làm trung tâm chính trị giúp chính quyền Toàn quyền dễ dàng chỉ đạo trực tiếp cuộc cải cách hành chính này, đồng thời tạo ra một đối trọng chính trị trực tiếp nhằm làm suy giảm dần tầm ảnh hưởng và quyền lực của triều đình Huế.