Gia đình họ Phạm giao thiệp với nhiều trí thức và văn nghệ sĩ thời tiền chiến. Phạm Duy kể trong hồi ký, sau khi cha ông mất, thầy Kim, tức Trần Trọng Kim, là bạn thân của Phạm Duy Tốn, vẫn hay tới lui để giúp đỡ gia đình ông và dạy dỗ các anh em ông.

Nhiều khi, còn có cả Bùi Kỷ, Nguyễn Văn Vĩnh, Nguyễn Đỗ Mục. Mỗi lúc đông đủ như vậy, họ thường cùng với bà vợ ông Tốn chơi đánh tổ tôm.

Tôi còn nhớ giọng nói sang sảng của ông Bùi Kỷ, cái tính hay bẹo má chúng tôi của ông Nguyễn Văn Vĩnh và lòng bàn tay đỏ như son của thầy Trần Trọng Kim. Mầu đỏ rực của lòng bàn tay này, cái tướng của những người cai trị dân, tôi cũng thấy có nơi lãnh tụ Cộng Sản Trường Chinh mà tôi gặp ở Thái Nguyên vào năm 1946. Thầy Kim lúc đó làm Thanh Tra Tiểu Học và tuần nào cũng tới nhà tôi trước khi ra toà nhà Khai Trí Tiến Đức để cùng với một số các vị khác hợp soạn cuốn Việt Nam Tự Điển.

Là con của một nhà văn, nhà báo nổi tiếng, được chiếu cố bởi những trí thức bậc nhất đương thời, lại còn có thành tích học tập tốt, được học bổng đi du học Pháp vào năm 20 tuổi. Ở Pháp, ông có nhiều bạn học mà sau thành trở thành những nhân vật lớn như nhà văn Thierry Maulnier, tổng thống Pháp Georges Pompidou và tổng thống Sénégal Léopold Senghor. Lấy bằng thạc sĩ ở Pháp rồi về nước giảng dạy ở trường Lycée Albert Sarraut danh giá cho chính những học trò là người Pháp, sau này còn viết văn bằng tiếng Pháp và được giải thưởng của Hàn Lâm Viện. Với những thành tích như thế, không ngạc nhiên khi hết thảy mọi người đều đánh giá ông Khiêm là một trong những trí thức sáng giá bậc nhất thời bấy giờ. Kéo theo đó, hiển nhiên, họ sẽ kỳ vọng ông sẽ gánh vác những trọng trách với Tổ Quốc như là làm chính trị, giải phóng dân tộc. Tuy nhiên, điều đó hoàn toàn không nằm trong kế hoạch của Phạm Duy Khiêm. Ông Khiêm có một bản lĩnh lớn là làm điều mình tin là đúng, bất chấp dư luận. Nói về việc ông đầu quân cho Pháp để đi chiến đấu chống phát xít Đức, Phạm Duy kể:

Anh Khiêm vắng nhà vì con người quân tử chịu ơn quốc gia đã nuôi mình ăn học thành tài nên đăng lính đi cứu nước Pháp chưa về. Việc này làm cho nhiều người chê trách anh Khiêm, nhưng tôi rất phục thái độ thấy đúng là làm của anh, bất cần dư luận.

Dẫu vậy, nếu nói rằng Phạm Duy Khiêm không đóng góp gì cho đất nước thì điều đó không đúng. Vì những bài viết, bài nói chuyện của ông ở Pháp cho thấy một nỗ lực của ông nhằm giúp người Pháp hiểu rõ hơn về người An Nam.

Trong cuốn hồi ký của mình, Phạm Duy kể rất tường tận những cảm nghĩ cá nhân của ông về người anh, mà ở đây tôi xin trích nguyên văn:

Cho tới năm 1974, một năm trước khi anh tôi qua đời, tôi không hiểu vì sao người anh lại ghét mình. Lúc còn bé, nếu tôi nhớ không lầm, tôi chỉ được đùa chơi với anh Khiêm có hai lần. Sau khi bố tôi chết, anh ấy vào sống nội trú trong trường, cuối tuần mới về nhà. Lối đùa chơi với hai em nhỏ của anh rất khác thường. Anh nắm hai tay một thằng em, nhấc bổng lên rồi quật xuống đất như người ta làm xiếc vậy. Hai anh em tôi không bị gẫy tay hay gẫy cẳng cũng là chuyện lạ.

(…)

Nhưng chưa chắc tôi đã là thằng em hư hỏng và phạm nhiều lầm lỗi. Tôi còn nhớ trong ba năm sống chung với nhau, tối thiểu có hai lần anh tôi phạt tôi một cách vô lý. Tôi khởi sự thích đàn ca từ khi anh tôi đi vắng. Người chị lớn lấy chồng khá giả tặng cho em út một đàn mandoline. Tôi đã vê được những bản nhạc ngắn hay nhất của Ý Đại Lợi như Martha, Back To Sorriento… Bây giờ sống chung với người anh, tôi không được đánh đàn. Muốn đàn ca, phải chờ khi anh ấy vắng nhà. Có lần quá cao hứng nên không đề cao cảnh giác, người anh chợt về, giật cái đàn mandoline vứt xuống đất và thân tặng nhạc sĩ mầm non một trận đòn. Một lần khác, vào mùa hè, tôi đang nằm trên nền nhà đá hoa để hưởng cái mát dịu, anh Khiêm ở đâu về, sồng sộc tới chỗ tôi nằm, nắm cổ lôi dậy, phạt tôi quỳ trước sự ngạc nhiên của mẹ tôi: Ai cho mày nằm dưới đất? Quỳ xuống đó!

Trong mấy chục năm xa nhà, nhiều khi được sống trong khung cảnh gia đình êm ấm của người khác rồi chạnh lòng nhớ tới hoàn cảnh mình, tôi không hiểu tại sao giữa chúng tôi không có tình huynh đệ? Thứ tình anh em mà tôi thấy tuyệt đẹp trong cuốn Quốc Văn Giáo Khoa Thư?

Tôi buồn vô hạn vì cũng như mọi người, tôi vinh dự có người anh học giỏi, người Việt Nam đầu tiên đậu bằng thạc sĩ, nhà văn Việt Nam viết văn Pháp hay hơn người Pháp, người Việt Nam quân tử muốn trả ơn nước Pháp đã đào tạo ra mình nên đầu quân làm binh nhì cho Pháp trong Thế Chiến Hai, bất chấp lời dị nghị.

Tôi buồn rồi tôi hờn giận, đổ lỗi cho người anh là ích kỷ, khó tính, vụng về trong cách đối xử với mọi người, bắt đầu từ người trong gia đình. Một người tự cao tự đại, rất ít bạn, không có người tình và đang bất mãn vì những chuyện gì đó rồi có bao nhiêu tức giận đổ vào đầu thằng em út. Ít ra tôi cũng có thể chứng minh anh tôi là người rất nghiệt ngã đối với những người đi thi Tú Tài trong thời kỳ đó. Giám khảo chấm thi khó tính đến đâu cũng chỉ phê điểm zéro là cùng, nhưng anh tôi ”giận” thí sinh Việt Nam yếu kém Pháp ngữ đến độ phê điểm… dưới zéro! Một người ”khó” đến độ về sau này khi bạn đồng học là Léopold Senghor, tổng Thống nước Sénégal đồng thời là thi sĩ làm thơ tiếng Pháp nổi danh, gửi tặng một tập thơ thì anh tôi gửi trả lại với những dòng chữ phê bình bằng mực đỏ của một nhà giáo!

(…)

Chỉ tới khi anh Khiêm tự tử chết tại Pháp vào đầu năm 1975 thì tôi mới ngộ ra anh tôi là một người cô đơn tới cùng cực. Suốt đời, đem tính tình vô cùng nghiêm khắc ra để đối xử với tất cả mọi người, không trừ một ai, kể cả với mẹ. Khó khăn ngay với chính mình nữa. Cuối cùng thất vọng, tự sát…

Một năm trước khi anh tôi qua đời, lần đầu tiên sau mấy chục năm cách biệt, chúng tôi trao đổi thư từ với nhau. Trong một bức thư, anh tôi viết rằng đã biết chán đời từ khi còn trẻ. Và đằng sau bộ mặt đóng kịch với đời là một sự chán ngán vô biên. Anh nói anh là một người (nguyên văn) nihilist. Tới khi đó, tôi mới nguôi lòng oán hận người mà tôi cho là ác nghiệt, vô tình vô nghĩa và vô trách nhiệm. Và bắt đầu thương người anh ruột đang sống cô đơn tại một trại nhỏ ở miền quê nước Pháp. Bắt đầu biết ơn người mà tôi luôn luôn tự hứa sẽ phải nổi tiếng hơn, giầu có hơn, thành công hơn trong cả hai điạ hạt gia đình và xã hội. Nếu không có người anh nghiêm khắc mà tôi nhìn như đối tượng để vượt qua, chưa chắn tôi đã hoàn thành đời tôi như thế này.

Tôi bỗng nhớ tới sự mê say của anh Khiêm khi anh diễn thuyết nhiều lần về cuốn phim Back street trong đó một sự việc cỏn con (bị kẹt xe gì đó) làm cho một đôi tình nhân bị lỡ hẹn khiến cho cuộc đời của họ đổ vỡ hoàn toàn. Anh Khiêm cũng là người để lỡ một cái hẹn lớn trong khi tôi có may mắn tới đúng giờ hẹn của lịch sử để không phải thắc mắc gì khi cùng toàn dân vùng lên đánh đuổi thực dân. Tôi thấy được thảm kịch của người anh ruột. Vì huyết thống, chắc chắn anh tôi cũng thừa hưởng phần nào sự bất đắc chí của bố. Nhưng từ khi bước vào trường học cho tới khi đỗ đạt, phải nói rõ là chính nước Pháp nuôi anh thành tài. Trở về nước, anh là người thành công trong xã hội, nhưng khi đất nước đi tới chỗ rẽ của lịch sử thì trong anh có một cuộc giằng co dữ tợn. Yêu nước vô cùng nên viết Légendes des Terres Sereines, La Jeune Femme De Nam Xương (1). Nhưng liệu có thể dứt được ân tình đối với nước Pháp như đôi tình nhân dị chủng đối với nhau trong cuốn Nam et Sylvie (2)? Có thấy Pháp là kẻ thù của dân tộc không? Có thấy được thầm ước của nhân dân không? Sau này, anh nhận chức Cao ủy trong Liên Bang Đông Dương của Pháp nên không cộng tác với một tổ chức yêu nước nào, đó là sự lỡ hẹn chua sót chăng? Không cộng tác với Bảo Đại nhưng làm đại sứ cho chính phủ Ngô Đình Diệm (để sẽ bị ”cám ơn” một cách tồi tệ) có phải là một sự đúng hẹn bẽ bàng không? Chỉ biết khi tôi còn ở với anh, tôi thấy anh đau đớn lắm. Đau đớn bao nhiêu thì nổi sùng bấy nhiêu. Chỉ tội nghiệp cho thằng em thiếu tình cha đang chờ đợi thứ tình đó nơi người quyền huynh thế phụ nhưng chỉ nhận được giận dữ hơn là yêu thương. Tôi cũng đau đớn lắm, nhưng tôi không thể có một phản ứng nào khác hơn là lẳng lặng xa dần người anh. Cũng như về sau này, khi không chịu nổi sự bó buộc của một thế lực nào đó thì tôi lẳng lặng ra đi. Lúc đó tôi lớn tuổi rồi, tôi không hờn giận, không mặc cảm, tôi chỉ thương thôi… Thương những người làm tôi buồn khổ như đã thương anh mình.

Có thể thấy ông Khiêm là người quá khắt khe, khó khăn với người khác và với cả chính mình. Ông đặc biệt nghiêm túc (có lẽ đây là lý do khiến văn chương của ông không có sự đột phá), với một vẻ ngoài cứng rắn, nhưng bên trong là một tâm hồn khao khát sự êm ái, mềm mại.

Nghịch lý đó, khi đối mặt với thực tế là những ấm êm tuổi thơ mất đi quá sớm, chỉ còn lại trách nhiệm của một người làm chủ gia đình, cộng thêm kỳ vọng, khen chê của dư luận xã hội có thể khiến người ta trở nên rất cô đơn và mệt mỏi.

Một người như ông Khiêm, ngay cả khi có làm chính trị, chắc chắn cũng sẽ là một nhà chính trị thất bại, vì ông không mềm dẻo, linh hoạt. Cứng quá thì gãy.

Ông Khiêm có khuynh hướng cá nhân chủ nghĩa hơn bất kỳ người Việt nào lúc bấy giờ, ở chỗ ông khước từ trách nhiệm với cái xã hội An Nam, ngay cả khi nó có bị hại đến khổ cực đến thế nào, thì rất có thể nó cũng không quan trọng bằng mối tình của ông với một cô gái ngoại quốc. Ở ông Khiêm có một tính cách Pháp nhiều hơn là An Nam. Sự đấu tranh của ông Khiêm để người Pháp nhìn nhận người An Nam như một chủng tộc ngang hàng có thể không gì hơn triết lý égalité của người Pháp.

Và nếu xem xét từ một lập trường khắt khe về phân loại, văn ông Khiêm, cũng như văn của Nguyễn Tiến Lãng hay Cung Giũ Nguyên, tức văn francophone viết bằng tiếng Pháp, cho người Pháp đọc, không còn thuộc về văn chương Việt Nam nữa.