“下午茶”的概念是由英国人带进中国香港的。和大部分中国人习惯在早上喝茶不同，西方人偏好在下午3点左右，也就是午饭到下班之间的这段时间享受茶和西点。西方人喝茶习惯加牛奶和糖，使茶入口后更香更滑，因此这也成了制作香港奶茶的基本原则。由于锡兰出产的红茶味道既好价格又便宜，所以锡兰红茶在香港十分流行。香港餐厅会把下午 2:30 到 5:30称为“下午茶时间”。大部分快餐店、西餐厅和茶餐厅都会在此时段提供分量较午餐少的餐点，价格也比午餐便宜！
英式下午茶一般在下午3:30到4:30进行，然而喝茶并不是主要的环节品尝各种点心反而成了最重要的部分。正统的下午茶点心一般是以"三层架”的形式摆盘，第一层放置各种口味的三明治，第二层是英国的传统点心司康，第三层则是小蛋糕和水果挞，品尝的顺序由下至上。
在英国维多利亚时代，贝德芙公爵夫人安娜·玛丽亚女士每到下午时刻 就觉得提不起劲、百般无聊。此时距离须穿着正式衣着的晚餐还有一段时间，可是她又觉得肚子有点饿，于是就让女仆在她的起居室准备几片烤面包、奶油和茶让她先满足口腹之欲。公爵夫人很满意这样的茶点内容与过 程，开始邀请知心好友加入她的下午茶会，伴随着茶和精致的点心，共享轻松惬意的午后时光。没想到这样的活动渐渐在当时的贵族社交圈内流传开来，形成一种优雅自在的下午茶文化，后来更一跃成为正统的“英国红茶文化”。这就是所谓的“维多利亚下午茶”的由来。
