Chó sục Nhật Bản là một giống chó nhỏ, rất thông minh và có tính khí giống chó sục. Họ độc lập, năng động, sắc sảo và sống động. Là chó sống một mình, chúng thường dè dặt với người lạ. Thông minh và cảnh giác, Chó sục Nhật Bản sẽ nghe thấy tiếng động nhỏ nhất và đưa ra cảnh báo cho bất kỳ người lạ nào. Anh ta không có vấn đề gì với những đứa trẻ đáng kính và những con chó khác. Là một chú chó săn thể thao và là chú chó linh hoạt, ham học hỏi, nó có tinh thần thể thao tuyệt vời và bản năng bẩm sinh. Vào những năm 1900, vào cuối thời Minh Trị, một số giống chó tốt nhất này đã được nhìn thấy trên đường phố Kobe và được gọi là “Kobe Terrier”. Vẻ ngoài của những chú chó sục Kobe này giống như sự kết hợp giữa Chó sục cáo mượt mà hiện đại và Chó sục Nhật Bản. Những con chó này là giống chó sục đầu tiên được nhân giống ở Nhật Bản. Những con chó này có một số tên như “Oyuki Terriers” và “Mikado Terriers”, và được người Nhật cũng như một số người nước ngoài nuôi.
Vào khoảng năm 1916, tại phường Nada gần Kobe, một chú chó tên Kuro (có nghĩa là màu đen trong tiếng Nhật) được sinh ra từ việc lai tạo giữa Toy Terrier của Anh và Toy Bull Terrier đều được nhập khẩu từ các nước phương Tây. Với sự lựa chọn cẩn thận của các cặp sinh sản từ những đứa con này và Chó sục Kobe, một giống chó sục nhỏ, mảnh khảnh, lông rất ngắn đã ra đời mà ngày nay được gọi là Chó sục Nhật Bản. Đến năm 1930, công việc của họ với giống chó này đã giúp phát triển một tiêu chuẩn và cuối cùng đã được Câu lạc bộ chó giống Nhật Bản công nhận. Chó sục Nhật Bản không trở nên phổ biến cho đến năm 1940, khi chúng được nhìn thấy ở hầu hết các thành phố lớn của Nhật Bản. Nhu cầu về giống chó này tăng vọt khi các thành phố này yêu cầu một con chó nhỏ, năng động hơn những con chó canh gác lớn. Tuy nhiên, giống chó này đã phải đối mặt với hai trường hợp trong suốt lịch sử của mình mà sau này chúng phải đối mặt với sự tuyệt chủng: lần đầu tiên là trong Thế chiến thứ hai, và sau đó là vào khoảng năm 1948 khi các giống chó phương Tây trở nên thời trang hơn.